先了解这件事
AI 综述
2026年11月19日,Streaming DiLoCo已可通过MaxText v0.2.5的PyPI版本、对应Docker镜像及GitHub main获取。Google在MaxText中实现该方法,以低通信方式支持跨数据中心的分布式大语言模型训练:各learner在本地运行37至65步后进行全局同步,并将参数拆分为NLAYERS+1个片段交错传输,使通信频率降低37至65倍,同时保持与标准同步训练相当的收敛和模型质量。目前没有其他有事实证据的发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:Google Developers Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月19日
Google Developers Blog一手
Google 在 MaxText 中用 Streaming DiLoCo 实现跨地域分布式 LLM 训练
Google 在 MaxText 中实现 Streaming DiLoCo,以低通信方式支持跨数据中心的分布式 LLM 训练。各 learner 本地运行 H=37–65 步后再全局同步,并将参数拆成 P=NLAYERS+1 个片段交错传输,使通信频率降低 H 倍,同时保持与标准同步训练相当的收敛和模型质量。
AI 热点