AI News

热点事件

Thinking Machines Lab介绍Inkling 2 Small端到端4比特训练配方

3 篇正式报道1 条相关讨论4 条事件动态更新于 11月14日 07:32

先了解这件事

AI 综述

2026年11月13日,Thinking Machines Lab发布技术博客,介绍Inkling 2 Small模型的端到端原生4比特训练配方。该方案在前向计算中使用NVFP4精度、反向传播使用MXFP8,并配合重量化与随机舍入,同时量化GPU通信数据以缓解瓶颈。官方博客称,在最大规模任务中,该配方使预训练提速8%、强化学习提速20%,代价是预训练计算效率约损失2%;团队称这是目前已知最大的端到端4比特前向训练模型。随后有报道称,Thinking Machines Lab已开源594B参数的Inkling 2 Small,在HuggingFace以Apache 2.0许可提供下载,运行至少需要500GB GPU显存(NVFP4)或800GB(MXFP8)。

AI 根据公开报道生成

最新进展 · 正式报道

Thinking Machines Lab 开源 594B 参数模型 Inkling 2 Small

事件进展

1 个已确认进展

  1. Thinking Machines Lab介绍Inkling 2 Small端到端4比特训练配方

    来源:Thinking Machines Lab:官方博客

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月14日

  1. Rohan Paul

    Thinking Machines Lab 开源 594B 参数模型 Inkling 2 Small

    Thinking Machines Lab 开源了 594B 参数的 Inkling 2 Small,已在 HuggingFace 以 Apache 2.0 许可提供下载。该模型从预训练第一步到最终 RL rollout 全程采用原生 4-bit 前向计算,预训练时间缩短 8%、RL 时间缩短 20%,效率损失约 2%。运行至少需要 500GB GPU 显存(NVFP4)或 800GB(MXFP8),MXFP8 在评测上仅比 NVFP4 高 1–2 个百分点;由于训练全程保持相同数值格式,发布的 4-bit checkpoint 无需单独校准。

  2. Teortaxes相关讨论

    Teortaxes 参与了这场讨论

    原帖参与热度计算,不等同于正式报道或已确认事实。

  3. Thinking Machines Lab:官方博客一手精选

    Thinking Machines Lab 详解端到端 4-bit 训练:Inkling 2…

    Thinking Machines Lab 发布技术博客,介绍其 Inkling 2 Small 模型采用端到端原生 4-bit 前向训练,在最大规模任务中预训练提速 8%、RL 提速 20%。该方案在前向使用 NVFP4 精度、反向使用 MXFP8 并配合重量化与随机舍入,同时量化 GPU 通信数据以缓解瓶颈。团队称这是目前已知最大的端到端 4-bit 前向训练模型,代价是预训练计算效率约损失 2%。

  4. Mira Murati

    Thinking Machines 详解 Inkling 2 Small 原生 4-bit 训练

    Thinking Machines 在 Connectionism 中详细介绍了如何用原生 4-bit 前向计算训练 Inkling 2 Small,覆盖从预训练第一步到最终 RL rollout 的全流程。该训练在 NVIDIA GB300 上进行,属于整套技术栈多项改进之一,使预训练时间从数周缩短到 68 小时。Mira Murati 转发了这一内容。

本事件热度走势

当前
5
区间峰值
48 11月14日 08:00
近 24 小时变化
-80%

移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。

关联事件

  1. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型
  2. 相关事件Meta发布开放权重模型Muse Spark Open
  3. 相关事件SGLang原生支持并驱动Beam生产API
  4. 相关事件Mistral发布一万亿参数Mistral Large 4预览版