Prime Intellect发布Prime Mega MoE训练内核
Prime Intellect 发布 Prime Mega MoE 训练内核。该内核在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播,使其可用于训练而非仅推理。在 prime-rl 训练器中,Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%,比 TorchTitan 快 48% 至 55%;单层前向最高提速 3.11 倍(12.0 ms 降至 3.9 ms),但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8,以 Apache 2.0 随 prime-rl 发布,通过 mega_moe 分发后端启用。
Prime Intellect 发布 Prime Mega MoE 训练内核。该内核在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播,使其可用于训练而非仅推理。在 prime-rl 训练器中,Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%,比 TorchTitan 快 48% 至 55%;单层前向最高提速 3.11 倍(12.0 ms 降至 3.9 ms),但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8,以 Apache 2.0 随 prime-rl 发布,通过 mega moe 分发后端启用。
匹配字段摘要