AI News

热点事件

Thomas Wolf发布《The Ultimate MoE Training Handbook》

3 篇正式报道3 条事件动态更新于 11月6日 20:21

先了解这件事

AI 综述

2026年11月6日,Thomas Wolf发布免费开源的《The Ultimate MoE Training Handbook》,该手册基于约80万GPU小时实验整理,全文约7万词,配有55个交互图示、可运行代码和实际实验数据。手册围绕专家数量与规模选择、all-to-all通信开销、路由函数选择、辅助损失与DeepSeek无损偏置、稠密checkpoint升级等训练团队常见问题展开。同日,Dongxi 东锡 NLP发文推荐该手册,并提到Thomas Wolf指出当前20个最好的开源模型中有18个是MoE。

AI 根据公开报道生成

最新进展 · 正式报道

Hugging Face 发布 MoE 训练手册,投入约 80 万 GPU 小时实验

事件进展

2 个已确认进展

  1. Thomas Wolf发布《The Ultimate MoE Training Handbook》

    来源:邵猛
  2. Dongxi 东锡 NLP推荐MoE训练手册

    来源:马东锡 NLP

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月6日

  1. 邵猛

    Hugging Face 发布 MoE 训练手册,投入约 80 万 GPU 小时实验

    Hugging Face 团队投入约 80 万 GPU 小时开展实验,整理成免费开放的「终极 MoE 训练手册」,全文约 7 万词,配有 55 个交互图示、可运行代码和实际实验数据。手册围绕专家数量与大小选择、跨卡通信拖慢训练、路由与负载均衡设置,以及从稠密模型改造还是从头训练等问题展开。文中示例为 64 个专家每次选 8 个、每个专家宽度 1024,整个示例模型约 68.6 亿总参数、12.2 亿激活参数;一次性能分析中未被计算掩盖的通信约占一步的一半,通信退回普通 socket 的案例慢了约 25 倍。

  2. 马东锡 NLP

    Thomas Wolf 发布《The Ultimate MoE Training Handbook》MoE 训练手册

    Thomas Wolf 发布免费开源的《The Ultimate MoE Training Handbook》,基于 800k GPU 小时的实验,系统讲解 Mixture-of-Experts 的训练方法。手册约 7 万字,含 55 张交互图表和可运行代码,围绕专家数量与规模、all-to-all 通信开销、router 选择(softmax、sigmoid 或 sqrt(softplus))、aux loss 与 DeepSeek 的无损偏置、dense checkpoint upcycle 等训练团队常见问题展开。他指出当前 20 个最好的开源模型中有 18 个是 MoE。

  3. Thomas Wolf

    Thomas Wolf 发布《The Ultimate MoE Training Handbook》开源训练手册

    Thomas Wolf 发布免费开源的《The Ultimate MoE Training Handbook》,基于 80 万 GPU 小时实验整理而成,围绕训练团队常遇到的问题组织内容,包括专家数量与规模、all-to-all 通信开销、路由函数选择、辅助损失与 DeepSeek 的无损偏置、稠密 checkpoint 升级以及推理时减少每 token 专家数等。手册约 7 万字,含 55 个交互图表和可运行代码,并附有作者自己实验跑出的数据。

本事件热度走势

当前
5
区间峰值
25 11月6日 21:00
近 24 小时变化
-63%

移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。

关联事件

  1. 相关事件构建Cosmos3-DROID学习管线
  2. 相关事件Together AI 发布 Jev 类分类器及微调教程
  3. 相关事件NVIDIA推出Nemotron量化方案
  4. 相关事件NVIDIA发布医疗机器人仿真框架