AI News

Thomas Wolf 发布《The Ultimate MoE Training Handbook》MoE 训练手册

马东锡 NLP更新于 11月6日 16:46

裂墙推荐就完事了!

AI 导读

Thomas Wolf 发布免费开源的《The Ultimate MoE Training Handbook》,基于 800k GPU 小时的实验,系统讲解 Mixture-of-Experts 的训练方法。手册约 7 万字,含 55 张交互图表和可运行代码,围绕专家数量与规模、all-to-all 通信开销、router 选择(softmax、sigmoid 或 sqrt(softplus))、aux loss 与 DeepSeek 的无损偏置、dense checkpoint upcycle 等训练团队常见问题展开。他指出当前 20 个最好的开源模型中有 18 个是 MoE。

推荐理由

AI 评分 69

这份手册基于 800k GPU 小时的实验,逐条回答 MoE 训练中的专家配置、通信开销与路由选择等实操问题。

主题

标签

引用

Thomas Wolf

@Thom_Wolf

如今 20 个最好的开源模型中有 18 个是混合专家(MoE)模型。稠密模型基本上已经过时了。 然而,训练一个优秀 MoE 的诀窍仍然主要掌握在少数几个团队的头脑中。 于是我们花了 80 万 GPU 小时亲自做实验,并把一切都记录了下来。非常高兴终于发布《The Ultimate MoE Training Handbook》,免费且开源,围绕训练团队实际遇到的问题组织: - 用多少个专家、每个多大、是否共享? - 为什么我一半的步数都花在 all-to-all 上,我该如何把它隐藏起来? - 为什么我的训练慢了 25 倍,日志里却没有任何报错? - softmax、sigmoid 还是 sqrt(softplus) router,以及为什么要让它保持在 fp32? - aux loss 还是 DeepSeek 的无损偏置? - 是对稠密 checkpoint 做 upcycle,还是从头训练? - 我能否在推理时每个 token 使用比训练时更少的专家? ⚠️ 警告:它很长(约 7 万字,请预留几天时间,抱歉),但包含 55 张交互式图表、可直接运行的代码,以及来自我们自己实验的数字。 在这里阅读:https://t.co/6XihlUrj92

查看原文

18 of the 20 best open models today are Mixture-of-Experts. Dense is basically over. And yet the know-how to train a good MoE still lives mostly in the heads of a handful of teams. So we spent 800k GPU hours running the experiments ourselves and wrote everything down. Super happy to finally release "The Ultimate MoE Training Handbook", free and open, organized around the questions training teams hit: - how many experts, how big, shared or not? - why is half my step spent in all-to-all, and how do I hide it? - why is my run 25x slower with no error in the logs? - softmax, sigmoid or sqrt(softplus) router, and why keep it in fp32? - aux loss or DeepSeek's loss-free bias? - upcycle a dense checkpoint or train from scratch? - can I serve with fewer experts per token than I trained with? ⚠️ Warning: it's long (~70k words, budget a few days, sorry) but with 55 interactive figures, code you can run and numbers from our own runs. Read it here: https://t.co/6XihlUrj92

查看原帖

正文

裂墙推荐就完事了!

如何训练 Mixture-of-Experts.

The Ultimate MoE Training Handbook

来源

马东锡 NLP