Thomas Wolf 点评 Recursive 新模型 Flint:把 lm_head 量化到 4 位仍接近 bf16
Hugging Face 联合创始人 Thomas Wolf 表示,他的 AGI 标准仍是 AI 拿下诺贝尔奖,但 Recursive 的 AI 研究者把通常被建议保持高精度的 lm_head 量化到 4 位、结果与 bf16 仅差 0.7 个百分点,令他印象深刻。他同时提到该模型以开源权重形式发布在 Hugging Face 上,并向 Recursive 表示祝贺。被引用的 Recursive 原帖介绍,Flint 是其首个模型,定位为快速本地编码模型,由自动化研究系统 Eureka Machine 构建,在 MacBook Pro 上达到 125+ tokens/sec、在 RTX Spark 上达到 150+,不到 4 个月从零建成。
Hugging Face 联合创始人 Thomas Wolf 表示,他的 AGI 标准仍是 AI 拿下诺贝尔奖,但 Recursive 的 AI 研究者把通常被建议保持高精度的 lm head 量化到 4 位、结果与 bf16 仅差 0.7 个百分点,令他印象深刻。他同时提到该模型以开源权重形式发布在 Hugging Face 上,并向 Recursive 表示祝贺。被引用的 Recursive 原帖介绍,Flint 是其首个模型,定位为快速本地编码模型,由自动化研究系统 Eureka Machine 构建,在 MacBook Pro 上达到 125+ tokens/sec、在 RTX Spark 上达到 150+,不到 4 个月从零建成。
匹配字段摘要