先了解这件事
AI 综述
2026年10月7日,英伟达发布 Megatron Core 位级确定性预训练方案的优化工作。该方案通过记录每 rank 有序张量指纹来定位并修复大规模预训练中的非确定性。据英伟达开发者博客,在三个 Nemotron 工作负载上,确定性开销降至约 2%(2,432 块 GPU),并在 800 步内保持比特级确定性。相关改动包括让 grouped-GEMM 写入方使用私有输出槽并采用固定归约顺序,同时通过 recipe 校验、kernel 测试和模块校验覆盖 FP8、FP4 等并行配置以防回归。目前该故事尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
NVIDIA Megatron Core 如何将比特级确定性预训练开销降至约 2%事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月7日
NVIDIA Developer · Generative AI一手
NVIDIA Megatron Core 如何将比特级确定性预训练开销降至约 2%
NVIDIA 在 Megatron Core 中通过记录每 rank 有序张量指纹来定位并修复大规模预训练中的非确定性，在三个 Nemotron 工作负载上把确定性开销降至约 2%（2,432 块 GPU），并在 800 步内保持比特级确定性。相关改动包括让 grouped-GEMM 写入方使用私有输出槽并采用固定归约顺序，同时通过 recipe 校验、kernel 测试和模块校验覆盖 FP8、FP4 等并行配置以防回归。