Thomas Wolf 点评 Recursive 新模型 Flint：把 lm_head 量化到 4 位仍接近 bf16
My bar for AGI is still an AI winning a Nobel.
Hugging Face 联合创始人 Thomas Wolf 表示，他的 AGI 标准仍是 AI 拿下诺贝尔奖，但 Recursive 的 AI 研究者把通常被建议保持高精度的 lm_head 量化到 4 位、结果与 bf16 仅差 0.7 个百分点，令他印象深刻。他同时提到该模型以开源权重形式发布在 Hugging Face 上，并向 Recursive 表示祝贺。被引用的 Recursive 原帖介绍，Flint 是其首个模型，定位为快速本地编码模型，由自动化研究系统 Eureka Machine 构建，在 MacBook Pro 上达到 125+ tokens/sec、在 RTX Spark 上达到 150+，不到 4 个月从零建成。
推荐理由
AI 评分 61
作者以自身 AGI 标准为参照，点评 Recursive 新模型把 lm_head 量化到 4 位的做法，并强调开源权重已上传 Hugging Face。
主题
查看原帖隆重介绍 Flint，@Recursive_SI 的首个模型：一个由我们的自动化研究系统 Eureka Machine 构建的快速本地编码模型。 • 同类最佳的快速本地编码 • 速度最高可达同类模型的 2 倍：在 MacBook Pro 上达到 125+ tokens/秒，在 RTX Spark 上达到 150+ • 不到 4 个月从零构建 在你自己的机器上享受私密、不计量的智能。开放权重现已在 @huggingface 上提供，可在你喜欢的框架上本地运行，或在 @opencode 或 @pidotdev 上免费试用。
查看原文
Introducing Flint, @Recursive_SI’s first model: a fast local coding model built with our automated research system, the Eureka Machine. • Best-in-class fast local coding • Up to 2x faster than comparable models: 125+ tokens/sec on a MacBook Pro, 150+ on RTX Spark • Built from scratch in under 4 months Private, unmetered intelligence on your own machine. Open weights available now on @huggingface, run it locally on your favorite framework or try it for free on @opencode or @pidotdev.
正文
当前显示原文，中文全文译文尚未就绪。
My bar for AGI is still an AI winning a Nobel.
But an AI researcher looking at the lm_head (that *everyone* tells you to keep in high precision) deciding to quantize it to 4 bits AND being actually right (0.7pt from bf16) is definitely impressive.
Even better when the result are open-weights pushed on the Hugging Gace hub.
Congrats @Recursive_SI !