先了解这件事
2026年11月6日,Thomas Wolf发布免费开源的《The Ultimate MoE Training Handbook》,该手册基于约80万GPU小时实验整理,全文约7万词,配有55个交互图示、可运行代码和实际实验数据。手册围绕专家数量与规模选择、all-to-all通信开销、路由函数选择、辅助损失与DeepSeek无损偏置、稠密checkpoint升级等训练团队常见问题展开。同日,Dongxi 东锡 NLP发文推荐该手册,并提到Thomas Wolf指出当前20个最好的开源模型中有18个是MoE。
AI 根据公开报道生成
最新进展 · 正式报道
Hugging Face 发布 MoE 训练手册,投入约 80 万 GPU 小时实验事件进展
2 个已确认进展
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月6日
邵猛
Hugging Face 发布 MoE 训练手册,投入约 80 万 GPU 小时实验
Hugging Face 团队投入约 80 万 GPU 小时开展实验,整理成免费开放的「终极 MoE 训练手册」,全文约 7 万词,配有 55 个交互图示、可运行代码和实际实验数据。手册围绕专家数量与大小选择、跨卡通信拖慢训练、路由与负载均衡设置,以及从稠密模型改造还是从头训练等问题展开。文中示例为 64 个专家每次选 8 个、每个专家宽度 1024,整个示例模型约 68.6 亿总参数、12.2 亿激活参数;一次性能分析中未被计算掩盖的通信约占一步的一半,通信退回普通 socket 的案例慢了约 25 倍。
马东锡 NLP
Thomas Wolf 发布《The Ultimate MoE Training Handbook》MoE 训练手册
Thomas Wolf 发布免费开源的《The Ultimate MoE Training Handbook》,基于 800k GPU 小时的实验,系统讲解 Mixture-of-Experts 的训练方法。手册约 7 万字,含 55 张交互图表和可运行代码,围绕专家数量与规模、all-to-all 通信开销、router 选择(softmax、sigmoid 或 sqrt(softplus))、aux loss 与 DeepSeek 的无损偏置、dense checkpoint upcycle 等训练团队常见问题展开。他指出当前 20 个最好的开源模型中有 18 个是 MoE。
Thomas Wolf
Thomas Wolf 发布《The Ultimate MoE Training Handbook》开源训练手册
Thomas Wolf 发布免费开源的《The Ultimate MoE Training Handbook》,基于 80 万 GPU 小时实验整理而成,围绕训练团队常遇到的问题组织内容,包括专家数量与规模、all-to-all 通信开销、路由函数选择、辅助损失与 DeepSeek 的无损偏置、稠密 checkpoint 升级以及推理时减少每 token 专家数等。手册约 7 万字,含 55 个交互图表和可运行代码,并附有作者自己实验跑出的数据。
本事件热度走势
- 当前
- 5
- 区间峰值
- 25 11月6日 21:00
- 近 24 小时变化
- -63%
移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。