先了解这件事
AI 综述
2026年9月14日,英伟达宣布优化基于Transformer Engine的JAX无丢弃MoE训练。据英伟达开发者博客,该方案结合JAX,在NVIDIA GB200上把DeepSeek-V3的MoE训练吞吐从103 TFLOPS/GPU提升到1,068 TFLOPS/GPU,达10.4倍。其分组GEMM内核可在单次调用中处理各专家不等的token数量,实现无丢弃MoE;NCCL EP融合dispatch与combine并去重token以降低网络流量。在GB300 NVL72上训练DeepSeek-V3 671B时,该方案在1,024块GPU下保持97%扩展效率。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月15日
NVIDIA Developer · Generative AI一手
NVIDIA Transformer Engine 加速 JAX 无丢弃 MoE 训练，DeepSeek-V3 吞吐提升 10.4 倍
NVIDIA Transformer Engine 结合 JAX，在 NVIDIA GB200 上把 DeepSeek-V3 的 MoE 训练吞吐从 103 TFLOPS/GPU 提升到 1,068 TFLOPS/GPU，达 10.4 倍。其分组 GEMM 内核可在单次调用中处理各专家不等的 token 数量，实现无丢弃 MoE；NCCL EP 融合 dispatch 与 combine 并去重 token 以降低网络流量。在 GB300 NVL72 上训练 DeepSeek-V3 671B 时，该方案在 1,024 块 GPU 下保持 97% 扩展效率。