Hugging Face 发布 MoE 训练手册,投入约 80 万 GPU 小时实验
Hugging Face 团队投入 ~80 万 GPU 小时开展实验,整理成免费开放的「终极 MoE 训练手册」
Hugging Face 团队投入约 80 万 GPU 小时开展实验,整理成免费开放的「终极 MoE 训练手册」,全文约 7 万词,配有 55 个交互图示、可运行代码和实际实验数据。手册围绕专家数量与大小选择、跨卡通信拖慢训练、路由与负载均衡设置,以及从稠密模型改造还是从头训练等问题展开。文中示例为 64 个专家每次选 8 个、每个专家宽度 1024,整个示例模型约 68.6 亿总参数、12.2 亿激活参数;一次性能分析中未被计算掩盖的通信约占一步的一半,通信退回普通 socket 的案例慢了约 25 倍。
推荐理由
AI 评分 63
手册把 MoE 训练中路由精度、负载均衡和跨卡通信的取舍,用自家实验数据逐项摊开,便于对照排查。
主题
查看原帖如今20个最佳开放模型中有18个是混合专家(MoE)模型。稠密模型基本上已经过时了。 然而,训练一个优秀MoE的诀窍仍然主要掌握在少数几个团队的头脑中。 于是我们投入了80万GPU小时亲自做实验,并把一切都记录了下来。非常高兴终于发布《终极MoE训练手册》,免费开放,围绕训练团队实际遇到的问题组织: - 用多少个专家、多大、是否共享? - 为什么我一半的步进时间花在all-to-all上,如何把它隐藏起来? - 为什么我的训练慢了25倍,日志里却没有任何报错? - softmax、sigmoid还是sqrt(softplus)路由器,为什么把它保持在fp32? - 辅助损失还是DeepSeek的无损失偏置? - 改造稠密检查点还是从头训练? - 我能否用比训练时更少的每token专家数来提供服务? ⚠️ 警告:它很长(约7万词,请预留几天时间,抱歉),但配有55个交互图示、可运行的代码和我们自己实验的数据。 在此阅读:https://t.co/6XihlUrj92
查看原文
18 of the 20 best open models today are Mixture-of-Experts. Dense is basically over. And yet the know-how to train a good MoE still lives mostly in the heads of a handful of teams. So we spent 800k GPU hours running the experiments ourselves and wrote everything down. Super happy to finally release "The Ultimate MoE Training Handbook", free and open, organized around the questions training teams hit: - how many experts, how big, shared or not? - why is half my step spent in all-to-all, and how do I hide it? - why is my run 25x slower with no error in the logs? - softmax, sigmoid or sqrt(softplus) router, and why keep it in fp32? - aux loss or DeepSeek's loss-free bias? - upcycle a dense checkpoint or train from scratch? - can I serve with fewer experts per token than I trained with? ⚠️ Warning: it's long (~70k words, budget a few days, sorry) but with 55 interactive figures, code you can run and numbers from our own runs. Read it here: https://t.co/6XihlUrj92
正文
Hugging Face 团队投入 ~80 万 GPU 小时开展实验,整理成免费开放的「终极 MoE 训练手册」
全文约 7 万词,配有 55 个交互图示、可运行代码和实际实验数据,围绕训练团队最常遇到的问题展开:专家数量与大小怎么选、跨卡通信为何拖慢训练、路由与负载均衡如何设置,以及该从稠密模型改造还是从头训练。是一份把分散的 MoE 训练经验系统公开、供实践者反复查阅的工程指南。 https://t.co/CBHSGqSAnY
MoE 到底省了什么
MoE 把部分前馈网络换成多个专家,由路由器为每个 token 选择其中几个,再合并它们的输出。因此,模型可以增加总参数量,而不按相同比例增加每个 token 的计算量。
文中示例有 64 个专家,每次选 8 个,每个专家的宽度为 1024。相较宽度 8192 的稠密前馈层,它存储约 8 倍参数,每个 token 使用的专家总宽度却相同。省的是激活计算,不是全部参数的存储需求;整个示例模型约有 68.6 亿总参数、12.2 亿激活参数。
真正难在三个环节
1. 路由要稳定。 专家选择依赖分数排序,低精度可能改变接近的分数与选择结果。手册因此强调路由计算采用 FP32,并讨论不同路由方法的取舍。
2. 专家负载要均衡。 如果大量 token 涌向少数专家,其他设备就会等待。文章比较辅助损失、无需辅助损失的偏置调整等方法。强制均匀路由的对照实验约快 1.5 倍,但它舍弃了学到的路由,只能说明速度空间,不能直接当成训练方案。
3. 通信不能抵消计算收益。 专家分布在不同 GPU 后,每层都要分发 token、收回结果。文中一次性能分析里,未被计算掩盖的通信约占一步的一半;网络配置错误、通信退回普通 socket 的案例甚至慢了约 25 倍。
从训练延伸到部署与强化学习
手册建议先检查硬件和网络、建立稠密模型基线,再逐项加入 MoE 设置,而不是一次打开所有优化。
部署时,减少每次选中的专家数可以降低计算量,但不会自动减少模型权重的显存占用,也可能影响质量。强化学习还有额外问题:生成训练数据的推理引擎,与训练引擎可能选出不同专家,造成执行路径不一致。