AI 热点

热点事件

Streaming DiLoCo已在MaxText v0.2.5中提供

1 篇正式报道1 条事件动态更新于 11月19日 08:00

先了解这件事

AI 综述

2026年11月19日,Streaming DiLoCo已可通过MaxText v0.2.5的PyPI版本、对应Docker镜像及GitHub main获取。Google在MaxText中实现该方法,以低通信方式支持跨数据中心的分布式大语言模型训练:各learner在本地运行37至65步后进行全局同步,并将参数拆分为NLAYERS+1个片段交错传输,使通信频率降低37至65倍,同时保持与标准同步训练相当的收敛和模型质量。目前没有其他有事实证据的发展。

AI 根据公开报道生成

最新进展 · 正式报道

Google 在 MaxText 中用 Streaming DiLoCo 实现跨地域分布式 LLM 训练

事件进展

1 个已确认进展

  1. Streaming DiLoCo已在MaxText v0.2.5中提供

    来源:Google Developers Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月19日

  1. Google Developers Blog一手

    Google 在 MaxText 中用 Streaming DiLoCo 实现跨地域分布式 LLM 训练

    Google 在 MaxText 中实现 Streaming DiLoCo,以低通信方式支持跨数据中心的分布式 LLM 训练。各 learner 本地运行 H=37–65 步后再全局同步,并将参数拆成 P=NLAYERS+1 个片段交错传输,使通信频率降低 H 倍,同时保持与标准同步训练相当的收敛和模型质量。

关联事件

  1. 相关事件Google在Antigravity上线Gemini 4 Hydrogen
  2. 相关事件Meta 推出 Muse Wonder 与 Muse Wonder Full 模型
  3. 相关事件Google在MaxText中支持长上下文训练
  4. 相关事件Google开源TorchTPU原生PyTorch栈