先了解这件事
Prime Intellect 发布 Prime Mega MoE 训练内核。该内核在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播,使其可用于训练而非仅推理。在 prime-rl 训练器中,Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%,比 TorchTitan 快 48% 至 55%;单层前向最高提速 3.11 倍(12.0 ms 降至 3.9 ms),但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8,以 Apache 2.0 随 prime-rl 发布,通过 mega_moe 分发后端启用。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：MarkTechPost
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月30日
MarkTechPost
Prime Intellect 发布 Prime Mega MoE 训练内核，前向最高提速 3.11 倍
Prime Intellect 发布 Prime Mega MoE，在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播，使其可用于训练而非仅推理。在 prime-rl 训练器中，Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%，比 TorchTitan 快 48% 至 55%；单层前向最高提速 3.11 倍（12.0 ms 降至 3.9 ms），但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8，以 Apache 2.0 随 prime-rl 发布，通过 mega_moe 分发后端启用。