AI News

Thomas Wolf 发布《The Ultimate MoE Training Handbook》开源训练手册

Thomas Wolf更新于 11月6日 04:25

18 of the 20 best open models today are Mixture-of-Experts. Dense is basically over.

AI 导读

Thomas Wolf 发布免费开源的《The Ultimate MoE Training Handbook》,基于 80 万 GPU 小时实验整理而成,围绕训练团队常遇到的问题组织内容,包括专家数量与规模、all-to-all 通信开销、路由函数选择、辅助损失与 DeepSeek 的无损偏置、稠密 checkpoint 升级以及推理时减少每 token 专家数等。手册约 7 万字,含 55 个交互图表和可运行代码,并附有作者自己实验跑出的数据。

推荐理由

AI 评分 62

作者用 80 万 GPU 小时实验整理出 MoE 训练手册,覆盖专家配置、通信开销与路由选择等团队常遇问题。

主题

标签

正文 · AI 翻译

如今20个最佳开源模型中有18个是混合专家(MoE)模型。稠密模型基本上已经过时了。

然而,训练一个优秀MoE的诀窍仍然主要掌握在少数几个团队的头脑中。

于是我们花了80万GPU小时亲自做实验,并把一切都记录了下来。非常高兴终于发布《The Ultimate MoE Training Handbook》,免费且开源,围绕训练团队常遇到的问题组织内容: - 用多少个专家、多大、是否共享? - 为什么我一半的步数都花在all-to-all上,我该如何隐藏它? - 为什么我的运行慢了25倍,日志里却没有任何错误? - softmax、sigmoid还是sqrt(softplus)路由器,为什么把它保持在fp32? - 辅助损失还是DeepSeek的无损偏置? - 升级稠密checkpoint还是从头训练? - 我能否在推理时使用比训练时更少的每token专家数?

⚠️ 警告:它很长(约7万字,请预留几天时间,抱歉),但包含55个交互式图表、可直接运行的代码以及我们自己实验跑出的数据。

在此阅读:https://t.co/6XihlUrj92

来源

Thomas Wolf