先了解这件事
2026年11月13日,Thinking Machines Lab发布技术博客,介绍Inkling 2 Small模型的端到端原生4比特训练配方。该方案在前向计算中使用NVFP4精度、反向传播使用MXFP8,并配合重量化与随机舍入,同时量化GPU通信数据以缓解瓶颈。官方博客称,在最大规模任务中,该配方使预训练提速8%、强化学习提速20%,代价是预训练计算效率约损失2%;团队称这是目前已知最大的端到端4比特前向训练模型。随后有报道称,Thinking Machines Lab已开源594B参数的Inkling 2 Small,在HuggingFace以Apache 2.0许可提供下载,运行至少需要500GB GPU显存(NVFP4)或800GB(MXFP8)。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:Thinking Machines Lab:官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月14日
Rohan Paul
Thinking Machines Lab 开源 594B 参数模型 Inkling 2 Small
Thinking Machines Lab 开源了 594B 参数的 Inkling 2 Small,已在 HuggingFace 以 Apache 2.0 许可提供下载。该模型从预训练第一步到最终 RL rollout 全程采用原生 4-bit 前向计算,预训练时间缩短 8%、RL 时间缩短 20%,效率损失约 2%。运行至少需要 500GB GPU 显存(NVFP4)或 800GB(MXFP8),MXFP8 在评测上仅比 NVFP4 高 1–2 个百分点;由于训练全程保持相同数值格式,发布的 4-bit checkpoint 无需单独校准。
Thinking Machines Lab:官方博客一手精选
Thinking Machines Lab 详解端到端 4-bit 训练:Inkling 2…
Thinking Machines Lab 发布技术博客,介绍其 Inkling 2 Small 模型采用端到端原生 4-bit 前向训练,在最大规模任务中预训练提速 8%、RL 提速 20%。该方案在前向使用 NVFP4 精度、反向使用 MXFP8 并配合重量化与随机舍入,同时量化 GPU 通信数据以缓解瓶颈。团队称这是目前已知最大的端到端 4-bit 前向训练模型,代价是预训练计算效率约损失 2%。
Mira Murati
Thinking Machines 详解 Inkling 2 Small 原生 4-bit 训练
Thinking Machines 在 Connectionism 中详细介绍了如何用原生 4-bit 前向计算训练 Inkling 2 Small,覆盖从预训练第一步到最终 RL rollout 的全流程。该训练在 NVIDIA GB300 上进行,属于整套技术栈多项改进之一,使预训练时间从数周缩短到 68 小时。Mira Murati 转发了这一内容。
本事件热度走势
- 当前
- 5
- 区间峰值
- 48 11月14日 08:00
- 近 24 小时变化
- -80%
移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。