Prime Intellect 发布 Prime Mega MoE 训练内核，前向最高提速 3.11 倍
Prime Intellect Releases Prime Mega MoE: Trainable Fused MoE Kernel, 3.11x Faster Forward Pass - MarkTechPost
Prime Intellect 发布 Prime Mega MoE，在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播，使其可用于训练而非仅推理。在 prime-rl 训练器中，Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%，比 TorchTitan 快 48% 至 55%；单层前向最高提速 3.11 倍（12.0 ms 降至 3.9 ms），但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8，以 Apache 2.0 随 prime-rl 发布，通过 mega_moe 分发后端启用。
正文 · AI 翻译
在 Google 上添加为首选来源
Prime Intellect 发布了 Prime Mega MoE，这是对 DeepSeek 融合 Mega MoE 内核的训练扩展。DeepSeek 的内核只运行前向传播。Prime Intellect 添加了一个快速、重叠的反向传播。这使得该融合内核可用于训练，而不仅仅是推理。在其 prime-rl 训练器中，Qwen3 MoE 模型的完整训练步骤运行速度最高提升 34%。与 TorchTitan 相比，提升达到 55%。对于训练混合专家（MoE）模型的团队来说，这直接减少了 GPU 小时数。
TL;DR
规模：一个 GPU 内核，而非模型。在 Qwen3-30B-A3B 和 Qwen3-235B-A22B（128 个专家，top-8 路由）上测试。
运行于：NVIDIA Hopper（blockwise FP8）和 Blackwell（MXFP8）GPU，两者均支持 BF16。公布的数值使用 8×H200 节点，32 至 128 块 GPU。
性能：完整训练步骤比 prime-rl 基线快 32% 至 34%。比 TorchTitan 快 48% 至 55%。
最佳：在 Qwen3-30B-A3B MoE 层上前向传播快 3.11 倍（12.0 ms 降至 3.9 ms）。
最差：在 Qwen3-235B-A22B MoE 层上反向传播快 1.24 倍（30.5 ms 降至 24.6 ms）。
什么是 Prime Mega MoE？
Prime Mega MoE 是 Prime Intellect 推出的用于训练的融合、重叠 MoE 内核。它构建在 DeepSeek 开源 DeepGEMM 库中的 Mega MoE 内核之上。
TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助
为什么 MoE 训练受通信限制？
在 MoE 模型中，每个 token 被发送到一小部分专家。这些专家位于不同的 GPU 上。因此每一层都会发送 token、运行专家计算，然后发送结果回来。这在前向传播中发生一次，在反向传播中再次发生。
在标准设置中，这些是相互独立的操作。GPU 先对 token 排序，并等待传输层。然后进行计算，交回结果，再次等待。这些等待就是 GPU 的空闲时间。
融合内核是如何工作的？
DeepSeek 的 Mega MoE 于 2026 年 4 月加入 DeepGEMM，用一次内核调用取代了这条链路。它融合了专家并行分发、2 个专家线性层、SwiGLU 和合并。当一组 token 正在传输时，内核会对已经到达的一组进行计算。它还通过仅使用 GPU 的暂存缓冲区跳过中间张量。但它只发布了前向实现。
Prime Intellect 编写了缺失的反向内核，同样实现了重叠。支持的类型有 BF16、MXFP8（仅 Blackwell）和分块 FP8（仅 Hopper）。prime-rl 配置还提供了 fp8_bwd 模式：BF16 前向，FP8 反向。
Prime Mega MoE 有多快？
以下所有数字均由 Prime Intellect 自行报告。训练步骤使用 8×H200 节点、FP8、16,384 token 序列和完整激活检查点。每个结果是第 6 步到第 20 步的平均值。
完整训练步骤，秒（越低越好）：
模型（集群）prime-rl 基线TorchTitan（FP8）Prime Mega MoE相对基线提升相对 TorchTitan 提升
Qwen3-30B-A3B（32 块 H200）2.783.072.0834%48%
Qwen3-235B-A22B（128 块 H200）12.7214.989.6532%55%
与 TorchTitan 相比，30B 模型上的吞吐量从 5,337 提升到 7,886 tokens/s/GPU。在 235B 模型上，从 1,094 提升到 1,697。prime-rl 基线使用 torch all-to-all 加 DeepGEMM FP8 专家。
单个 MoE 层，毫秒（1 个节点，8×H200，EP=8，128 个专家，top-8，随机路由）：
层前向反向完整层（2 倍前向 + 反向）
Qwen3-30B-A3B12.0 降至 3.9（3.11 倍）15.4 降至 8.2（1.87 倍）39.3 降至 15.9（2.47 倍）
Qwen3-235B-A22B20.7 降至 9.5（2.17 倍）30.5 降至 24.6（1.24 倍）71.9 降至 43.7（1.64 倍）
规律很清晰。前向增益很大，反向增益较小。标题中的“最高 3.11 倍”仅指前向传播。
与其他融合 MoE 方案相比如何？
开发者Prime IntellectDeepSeekPyTorch、NebiusAMD
训练（反向）是，融合且重叠否，仅前向是（独立分发内核）是，按设计文档
计算与通信融合是是是否（分发+GEMM1，GEMM2+合并）
GPUHopper、BlackwellSM90、SM100（库）已发布运行中使用 B200MI355X（gfx950）
已发布加速比相比 TorchTitan 步骤时间最高提升 55%未披露在 DeepSeek-V3 671B 上最高提升 41%未披露
许可证Apache 2.0（prime-rl）MITBSD-3-ClauseMIT
TorchTitan 的 41% 增益来自不同的设置（B200、671B 模型、BF16 基线），不能直接比较。
开发者如何使用它？
Prime Mega MoE 是 prime-rl 中的一个分发后端。在 [trainer.model.moe.dispatch] 下设置 type = "mega_moe"。从 bf16、mxfp8、fp8 或 fp8_bwd 中选择精度。训练内核随 prime-kernels 提供的预构建 DeepGEMM wheel 一同发布。原版 DeepGEMM 构建不包含这些内核。
要点
Prime Mega MoE 为 DeepSeek 的 Mega MoE 增加了融合、重叠的反向传播。
完整训练步骤比 prime-rl 基线快 32% 至 34%。
与 TorchTitan 相比，在 Qwen3 MoE 模型上步骤快 48% 至 55%。
前向增益最高达 3.11 倍，但在大层上反向增益降至 1.24 倍。
它作为 mega_moe 分发后端随 prime-rl 发布。
Asif Razzaq网站 | + 篇文章简介 ⮌
Asif RazzaqNVIDIA 发布 Nemotron 3.5 Transcribe：一个开放 30B MoE 模型，支持 40 种语言转录，约 4B 活跃参数
Asif RazzaqPolymathic AI 与普林斯顿大学的研究人员发布 FlashMap，一种用于将 LLM 解码速度提升 6.14 倍的流映射起草器
$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页计分在 GitHub 上加星→赞助
相关文章更多来自作者
NVIDIA 发布 Nemotron 3.5 Transcribe：一个开放的 30B MoE 模型，支持 40 种语言转录，约 4B 活跃参数