Google 跟踪代码管理器(noscript) Google 跟踪代码管理器(noscript)结束 HTML 跨地域分布式 LLM 训练:MaxText 中的 Streaming DiLoCo 2026 年 11 月 19 日 莫希特·卡特瓦尼 软件工程师 克里斯·左 软件工程实习生 诺瓦·法伦 软件工程师 扎卡里·加勒特 软件工程师 扎卡里·查尔斯 软件工程师 亚历克斯·施拉尔 软件工程经理 迪帕克·帕蒂尔 产品组经理 安迪·加夫里列斯库 软件工程总监 dilco header

引言

传统上,训练最先进的大语言模型(LLM)依赖由加速器组成的单体集群,其中所有设备都部署在同一地点,并通过高带宽连接紧密耦合,以持续同步梯度。然而,受物理条件和成本限制,扩大单个计算分区的规模变得越来越困难。

为了进一步扩展规模,我们可以跨地理位置分散的数据中心连接多个计算分区。然而,通过广域网(WAN)在多个数据中心之间进行训练时,标准数据并行训练会遭遇严重的网络阻塞,因为缓慢的 WAN 传输无法与计算完全重叠。

为解决这一问题,Google DeepMind 和 Google Research 团队开发了 DiLoCo(Distributed Low-Communication,分布式低通信)——一种分布式优化算法,旨在让训练能够适应低带宽、高延迟的网络连接。在本文中,我们将介绍 DiLoCo 的核心概念、它在 MaxText(Google 基于 JAX 的开源 LLM 训练框架)中的实现方式,以及它为 Google Cloud 上的大规模 LLM 训练带来的性能优势。

什么是 DiLoCo?

DiLoCo 由 Google DeepMind 在论文《 DiLoCo:语言模型的分布式低通信训练》中提出。DiLoCo 不像标准数据并行那样在每一个训练步骤中同步所有设备上的梯度,而是将训练划分到 M 个彼此独立的计算组(称为 learner)中,并允许每个 learner 在跨组通信之前独立执行多个本地优化步骤。

内外双层优化循环

DiLoCo 在两个层面上运行:

  1. 内循环(本地): 每个 learner(通常是单个 TPU slice,或数据中心内的多 slice 组)会在其本地数据分区上运行标准优化器(通常为 AdamW),持续 H 步(即同步周期;例如,在我们的实验中 H = 37–65)。在这些步骤中,不同 DiLoCo 组之间不会进行通信。标准的 replica 内部通信(例如 ICI;如果 learner 本身是多 slice 组,则包括 replica 内部的 DCN 通信)仍会像往常一样在每一步持续进行。
  2. 外循环(全局): 每隔 H 步, M learner 会计算其当前权重与该周期开始时全局权重之间的差值(delta)。learner 通过分布式 all-reduce 在整个网络中对这些 delta 求平均,并应用外层优化器(通常是采用 Nesterov 动量的 SGD)来更新全局权重;更新后的全局权重随后将作为下一次内循环周期的起点。

尽管其通信频率显著低于标准同步训练(降低 H 倍,例如减少 1–2 个数量级), 但已有研究表明,DiLoCo 能够实现相当的收敛表现和模型质量.

上述 Vanilla DiLoCo 将 总体 通信量降低了 H 倍;然而,所有 learner 仍会传输其权重差值,涉及 整个模型,而且是一次性完成 ,并在每第 H 步进行。在带宽有限的网络链路上,这种全模型传输会每隔 H 步造成一次严重的周期性停顿。下一节介绍的 Streaming DiLoCo 缓解了这一问题。

为何 Streaming DiLoCo 在低带宽环境中表现出色

在多 slice 训练中,单个 slice 内部的通信由高速芯片间互连(ICI)处理。当扩展到多个 slice 时,跨 slice 同步必须经过数据中心网络(DCN);如果这些 slice 分布在不同地理位置,则必须经过广域网(WAN)。

在单个数据中心内,DCN 带宽通常足够高,因此 JAX 和 XLA 往往可以隐藏标准数据并行 all-reduce 通信,其方式是将梯度通信与反向传播计算重叠执行。然而,在跨数据中心或链路拥塞的情况下,带宽会下降,延迟会急剧上升。标准数据并行(DP)训练在每一步都会因等待全局梯度同步而停顿,导致模型 FLOPS 利用率(MFU)骤降。

Streaming DiLoCo 通过将模型参数划分为 P 个互不重叠的 片段,消除了这种同步停顿。在 H 步期间,模型中的每个片段都恰好同步一次,从而实现与原始 DiLoCo 完全相同的外循环节奏,同时避免带宽利用率出现尖峰。

  • 片段划分: MaxText 将模型划分为 P = NLAYERS + 1 个片段:一个片段用于所有未扫描的参数(词元嵌入、最终层归一化和输出头),另有 Nlayers 个片段,每个被扫描的 Transformer 解码器层对应一个片段。
  • 交错式逐步流式传输: MaxText 不再每隔 H 步暂停一次以交换整个模型,而是每隔 Δh=max⁡(1,round(H/P)) 步同步一个片段。设置 H=P(Δh=1)时,会同步 每步一个片段,将完全相同但已经减少的通信量分摊到全部 H 步中,使网络面对的是近乎均匀的微小数据流(如下一节所述,前提是大型嵌入矩阵已在各层片段间实现负载均衡),而不是巨大的周期性尖峰。系统不会连续同步相邻层,而是以交错方式跨网络深度选择每个间隔要同步的片段(例如先是片段 0,然后是第 k 层,再是第 2k 层,依此类推)。这确保每轮同步都会触及网络的不同深度,避免在模型某一区域更新时,另一个完整区域长期保持陈旧状态。
  • 嵌入负载均衡:由于片段 0 包含被扫描层以外的所有参数——词元嵌入、logits 前层归一化以及反嵌入/输出头——其大小取决于词表维度,因此可能远大于其他片段。如果不采取缓解措施,同步片段 0 的步骤会产生远高于其他层片段的巨大网络流量尖峰。为此,在将部分未扫描向量保留于片段 0 的同时,该片段中的大型矩阵会被均匀拆分,并分别合并到其他 Nlayers 个片段中。

确定网络链路带宽:数据并行、原始 DiLoCo 与 Streaming DiLoCo 的对比

使用屋顶线模型(类似于 《JAX Scaling Book》),我们可以计算出,要防止具有 ∣Θ∣ 个参数的模型出现通信停顿所需的网络带宽(每个参数占 b 字节,例如,b=2 对应于 bfloat16),并设每步计算时间 tstep=tfwd+tbwd。例如,标准数据并行算法每次同步都会通过全归约集合通信传输 2∣Θ∣b 字节;该操作先执行分布式归约散播,由每个节点归约不同部分,然后执行全收集,使所有参与者都能收到全部部分。为实现零通信停顿,我们将梯度的归约散播与产生这些梯度、耗时 tbwd 的反向传播重叠。因此,所需峰值带宽为 Bdp ≈ 2∣Θ∣b / tbwd。

Table 1 (2)

算例(Qwen3-32B 采用 bfloat16,tstep​≈6.2s,P=H=65):

  • 数据并行 交换 约 65.5 GB (约 524 Gb)的梯度 在每一步。要在约 6 秒的单步时间内完成传输且不造成停顿,至少需要 约 85 Gbps 的持续跨切片带宽(524 Gb / 6.2 s≈85 Gbps)。在受限的跨切片 10 Gbps 链路上,传输 65.5 GB 将耗时超过 50 秒,造成严重停顿。
  • 原始 DiLoCo(H=65) 会以全速运行 64 个本地步骤,并将总流量减少 65 倍(65 个步骤内约 ∼65.5 GB),但仍会在每第 65 个步骤发生停顿,因为此时需要一次性传输完整的 ∼65.5 GB 负载
  • Streaming DiLoCo(P=H=65) 每次仅交换模型的 1/65(∼1.0 GB),每步仅传输这些数据(65 个步骤共约 65.5 GB——流量比数据并行低 65 倍),且只需要 约 1.3 Gbps 的带宽。即使在被严重限速至 10 Gbps 的链路上,通信也能轻松在单步时间内完成。

评估相关主张:结果与洞见

1. 性能与网络韧性

为了评估现实网络瓶颈下的分布式效率,我们对 Qwen3-32B(64 个解码器层,被划分为 P = 65 个片段,其中 H = 65)进行了基准测试,测试环境为 2 个 TPU v5p-32 切片(dcn_diloco_parallelism=2),使用 Linux 内置流量控制(tc)带宽整形,将三种网络状况下的跨切片带宽限制为:不限速(线速)、总计 30 Gbit/s(中度拥塞)和总计 10 Gbit/s(严重拥塞)。

Table 2 - updated image3 图 1:跨切片 DCN 通信量(Qwen3-32B 在 2× v5p-32 上运行 65 步)。通过每步同步一个参数片段(模型的 1/65),Streaming DiLoCo 将跨切片 DCN 流量从 4,258.8 GB(数据并行基线)降至 67.0 GB,减少了 64 至 65 倍(每步约 1.0 GB,而非每步 65.5 GB)。 image1 图 2:在 2× v5p-32 上不同网络拥塞状况下的平均单步时间。在跨切片带宽被限制为 30 Gbit/s 和 10 Gbit/s 时,相较于数据并行(每步 5.76 秒,而后两种限速情况下分别为每步 19.41 秒和 55.11 秒),Streaming DiLoCo 分别实现了 3.37 倍和 9.57 倍加速(10 Gbit/s 时单步延迟降低 89.5%,Δ = 49.35s);同时,它通过消除周期性的全模型同步停顿,性能也优于原始 DiLoCo(每步分别为 6.39 秒和 7.55 秒)。

主要发现:

  • 从线速到中度拥塞(不限速至 30 Gbit/s):当跨切片带宽不受限制时,XLA 会将数据并行梯度归约与反向传播计算重叠,三种方法的单步时间相近(约 5.6–5.9 秒)。然而,当跨切片带宽为 30 Gbit/s 时,数据并行已使链路饱和,性能下降至每步 19.41 秒;Streaming DiLoCo 则稳定保持每步 5.76 秒(加速 3.37 倍)。
  • 严重网络限制(10 Gbit/s):由于其每步 65.5 GB 的 all-reduce 数据使链路饱和,数据并行的单步时间从 5.58 秒急剧增至 55.11 秒。原始 DiLoCo(H = 65)的表现好得多(每步 7.55 秒,加速 7.30 倍),但每 65 步仍会因周期性的全模型同步而出现一次空泡。Streaming DiLoCo(P = 65, H = 65) 则稳定保持每步 5.76 秒——相比数据并行实现了 9.57 倍加速,并消除了每H 步出现的停顿。
  • 随深度和批量大小的扩展表现良好: 由于我们设置 P = N_layers + 1(每个片段对应一个解码器层),增加模型深度会提高所有层的单步计算时间,而 Streaming DiLoCo 的单步通信仍被分摊到 P,

从而让系统每步拥有更多计算时间来摊销后台权重传输。重要的是,随模型深度扩展 P(进而扩展 H)不会影响收敛:在我们对稠密 Qwen3-32B(64 个解码器层,P = H = 65)的实验中,Streaming DiLoCo 的损失与同步数据并行基线相当,模型质量没有下降。 2. 收敛与模型质量

低通信训练中的一个常见问题是,允许各学习器在同步间隔期间独立训练是否会降低模型质量——尤其是在混合专家(MoE)架构上,独立更新可能导致专家路由器逐渐产生偏差。

我们在 MaxText 中的两种 MoE 架构(Qwen3-30B-A3B 和 Gemma4-26B-A4B)上进行了 4,000 个训练步骤,对 Streaming DiLoCo 与同步数据并行预训练进行了评估:

Table 3 - updated image4 图 3:在 Qwen3-30B-A3B 上进行 4,000 步训练时,Streaming DiLoCo 与同步数据并行的预训练损失轨迹对比。在前约 800 步短暂的早期预热同步调整后,Streaming DiLoCo 平稳跟随数据并行基线,表现还略胜一筹

实证结果证实,Streaming DiLoCo 保持了验证损失水平,甚至还略有改善:

  • 外层 Nesterov 动量:不采用简单的学习器权重平均,而是让外层 Nesterov 动量优化器执行更新(β = 0.9,外层学习率为 η_outer ,介于 0.3 和 0.7)跨片段伪梯度可稳定全局轨迹。
  • 热启动内层优化器:由于同步仅更新模型参数,而每个学习器本地 AdamW 的一阶和二阶矩缓冲区保持不变,因此片段同步后,学习器绝不会丢失优化器动量。

在 MaxText 中开始使用 Streaming DiLoCo

MaxText 提供 Vanilla DiLoCo 和 Streaming DiLoCo 的原生 JAX 与 Flax NNX 实现,无需外部中央参数服务器。

1. 配置

你可以通过在 MaxText YAML 配置或 CLI 覆盖参数中设置 enable_diloco: true 和 enable_streaming_diloco: true来启用 Streaming DiLoCo。最佳做法是,将两者都设置为 num_diloco_fragments (P)和 diloco_sync_period (H)设为 N_layers + 1 ,这样每个训练步骤恰好同步一个片段(Δh = 1):

# Enable DiLoCo and Streaming DiLoCo
enable_diloco: true
enable_streaming_diloco: true

# Partition into N_layers + 1 fragments (e.g., 36 layers + 1 embedding/head = 37 for Qwen3-8B,
# 48 + 1 = 49 for Qwen3-30B-A3B, or 64 + 1 = 65 for Qwen3-32B)
num_diloco_fragments: 37
diloco_sync_period: 37
use_sequential_layers: false  # false = interleaved layers across fragments (recommended)

# Outer Nesterov SGD optimizer hyperparameters
diloco_outer_lr: 0.7
diloco_outer_momentum: 0.9

# Multi-slice topology: number of DiLoCo learner islands across DCN/WAN
dcn_diloco_parallelism: 2  # e.g., 2 TPU slices (or set to -1 to infer from num_slices)

# Optional: emulate constrained WAN bandwidth on fast clusters via Linux tc
# dcn_bandwidth_limit: "10gbit"
纯文本 已复制

2. 底层原理与延伸阅读

在 MaxText 中, diloco.py 会将每个全局批次分配给 M 个学习器,因此每个学习器每步处理 GBS / M 个 token。为了在 Streaming DiLoCo 中让跨切片通信与 TPU 计算重叠,计划同步片段的权重增量会被卸载到 M路分片的同步器工作进程中,这些进程运行在学习器主机的 CPU 上。这些主机 CPU 同步器分片不经由单一中央协调器,而是在后台通过网络执行分布式 all-reduce ,以便在 TPU 继续执行内循环训练步骤的同时,对片段增量求平均。随后,每个同步器分片在本地应用外层 Nesterov 动量更新,并将更新后的片段权重写回与其共置的 TPU 学习器。如需深入了解或启动首次运行,请参阅:


结论

MaxText 中的 Streaming DiLoCo 使大规模 LLM 预训练不再依赖单一、整体式的高带宽互连网络。通过结合使用内层和外层优化器以及细粒度参数流式传输,工程团队可以跨拥塞的数据中心网络或分布于不同地理区域的城域网络汇集 TPU 切片,在不影响模型收敛的情况下保持较高的硬件利用率。 Streaming DiLoCo 现已在 MaxText v0.2.5 (PyPI)、 相应的 Docker 镜像 以及 GitHub 主分支中提供。立即试用,探索分布式训练工作负载。

发布于: 上一篇 下一篇 相关文章 Multi-Turn Agentic Reinforcement Learning with Tunix and Gemma 4 on Google TPUs AI 云 教程 学习

使用 Tunix 和 Gemma 4 在 Google TPU 上进行多轮智能体强化学习

2026 年 11 月 19 日
Unlocking Stable On-Policy RL on TPU with Bitwise-Zero Train–Inference Mismatch AI 云 教程 案例研究

借助逐比特零训练—推理失配,在 TPU 上实现稳定的同策略强化学习

2026 年 11 月 16 日
Gemini 4 Hydrogen: a faster model for general purpose robotics AI 案例研究 公告

Gemini 4 Hydrogen:面向通用机器人的更快模型

2026 年 11 月 17 日
Securing Your Agents: A Hands-On Guide to Agent Anomaly Detection AI 云 教程 操作指南

保护您的智能体:智能体异常检测实操指南

2026 年 11 月 16 日