Google 跟踪代码管理器(noscript) 结束 Google 跟踪代码管理器(noscript) HTML 在 TPU 上以逐位零训练–推理差异解锁稳定的同策略强化学习 2026 年 11 月 16 日 Yuxuan Zhang 软件工程师 Lin Chai 高级软件工程师 Lance Wang 高级软件工程师 Tianshu Bao 高级主任软件工程师 Weiren Yu 高级产品经理 zero_tim_tpu_blog_header_1600x900

问题所在

大型语言模型的强化学习(RL)对数值不稳定性出了名地敏感:即使 rollout 生成与梯度更新之间存在极微小的差异,也可能导致训练失稳或收敛停滞。在 LLM 强化学习中,模型本身就是策略 π(action | previous tokens),而真正的同策略学习要求一次更新中的每个动作都由完全相同的策略生成并评估。虽然同步循环能确保每个 rollout 批次都用生成它的同一组权重来评分,但仍有一个关键的数值要求:采样器和训练器必须以完全相同的方式评估该策略。

在实践中,生产级 RL 技术栈通过各自独立、专门化的执行路径来运行采样和训练。 采样器 在增量解码过程中选择每个动作 token,并记录其行为 logprob。 训练器 则在批量前向-反向传播中评估同一个 token,以计算其当前 logprob 和梯度。在相同权重下,这些不同的执行路径仍可能为相同的 token 和上下文赋予不同的 logprob。训练调度是同策略的,但数值执行引入了一个隐藏的异策略差距,并会在多轮轨迹中不断累积。

我们的 零训练–推理差异(Zero-TIM) 实现是在 Tunix 中开发的,并在 64 颗 TPU v5p 芯片(DP8×TP8)的多主机规模上得到验证,弥合了这一数值差距。在相同权重下,采样器和训练器对相同动作和 token 历史赋予逐位相同的 logprob——为 TPU 强化学习训练带来了最先进的、真正的同策略稳定性。

为何会发生

归约是一棵浮点加法树。浮点加法不满足结合律,因此改变树的结构就会改变舍入发生的位置。这一效应在 bfloat16中更容易暴露,因为它的精度低于 float32。

以下 bfloat16 示例单独展示了归约顺序的影响:

figure-1-reduction-trees 图 1. 在 2.0 附近,每个 0.0078125 输入都是到下一个可表示 bfloat16 值距离的一半。就近舍入到偶数在逐个相加时会丢弃每个输入;先将相同输入分组则能达到下一个值。

同样的问题也出现在模型归约中:矩阵乘积累加部分和,归一化计算统计量,张量并行分片合并部分输出。在我们最初的栈中,采样器解码和训练器前向使用了不同的 token 数组形状和前向实现。JAX 会针对输入形状特化计算,而训练前向还运行在可微分程序中。

在这些路径之间,归约顺序和中间精度并未始终对齐。浮点舍入将这些算术差异转化为不同的 logprob 位。权重和模型方程完全相同;算术过程却不同。

对齐契约

契约很简单:在采样器解码、服务预填充和训练器前向这三条路径之间,对于每个被采样的动作,都必须产生逐位相同的 logprob——在相同的 rollout 权重、token 历史和采样设置下比较原始浮点字节,零舍入、零容差。

为什么是三条路径而不是两条?在解耦的 RL 栈中,采样器与训练器的直接不一致只能说明存在数值差距,却无法说明差距从何处引入。将服务预填充作为中间检查点引入,就把对齐变成了一个 任何 RL 栈都可以采用的系统性两步诊断:

采样器解码 vs. 预填充 验证服务引擎在增量 token 生成与全序列重评分之间自身一致,而 预填充 vs. 训练器 则验证服务引擎与训练引擎在编译和微分边界上一致。

figure-2-policy-contract 图 2. 在相同 rollout 权重下,对服务引擎内部以及服务–训练边界上的采样动作 logprob 进行逐位比较。

我们如何在 TPU 上构建 Zero-TIM

实现 Zero-TIM 并不需要将采样器和训练器合并为单一的整体引擎。相反,我们采用了一套 可推广的四部分方案 ,在多主机 TPU 网格上桥接独立的服务与训练流水线:锁定分片内 kernel 累加、规定跨分片归约顺序、标准化 logprob 评分尾部,以及用自定义微分规则包装服务 kernel。

固定分片内算术

在每个张量并行 rank 内部,批不变 Pallas kernel 控制累加顺序和中间精度。投影 kernel 按顺序遍历固定的收缩块,使归约分块与 token 行数无关。部分乘积以 float32 累加,并显式转换输出。

生产 kernel 在 tile 遍历之前初始化其暂存累加器,然后对每个 tile 应用此核心:

input_tile = x_ref[...]
weight_tile = y_ref[...]

partial = jnp.dot(
    input_tile,
    weight_tile,
    preferred_element_type=jnp.float32,
)
acc_ref[...] = acc_ref[...] + partial
out_ref[...] = acc_ref[...].astype(out_ref.dtype)
Python 已复制

下一个 tile 从 float32 累加器继续,而不是从转换后的输出继续。这一构造覆盖了注意力和 MLP 投影以及 LM head。专用 kernel 固定了 RMSNorm 归约和 SwiGLU 的中间转换。现有的 Pallas 分页注意力前向被保留。

规定跨分片归约顺序

对于行并行投影,每个张量并行 rank 产生一个部分输出。我们将通信与加法分离:ppermute 传输部分结果,然后每个 rank 按相同的源 rank 顺序将它们相加。

归约顺序在程序中是显式的,而不是由集合通信实现来选择。

共享动作 logprob 路径

对齐必须超越模型 logits,延伸到被采样动作的概率。解码、预填充和训练器应用匹配的采样变换,使用相同的固定 Pallas log-softmax 构造,并选择所记录的动作 token。

预填充和训练器对 rollout 期间生成的动作进行评分,而不是另选一个动作。我们还在环境轮次之间保留采样得到的 token ID,使每条路径都评估相同的 token 历史。

对服务前向进行微分

训练器复用服务预填充计算。自定义向量–雅可比积在正向评估中保留服务 kernel,并提供其反向规则。matmul 示例展示了这种分离:

@jax.custom_vjp
def serving_matmul(inputs, weights):
    return pallas_matmul(inputs, weights)

def matmul_forward(inputs, weights):
    output = pallas_matmul(inputs, weights)
    return output, (inputs, weights)

def matmul_backward(saved, output_gradient):
    inputs, weights = saved
    _, pullback = jax.vjp(
        differentiable_matmul,
        inputs,
        weights,
    )
    return pullback(output_gradient)

serving_matmul.defvjp(matmul_forward, matmul_backward)
Python 已复制

可微副本镜像 kernel 的累加和类型转换,但仅用于构造 pullback。前向值仍来自服务 Pallas kernel。

训练将该前向置于一个可微的 JAX 程序中。我们将 --xla_allow_excess_precision=false through XLA_FLAGS 传给编译器进程,限制 Pallas kernel 周围运算中多余的中间精度。

长轨迹以固定大小的块进行评估,并向前传递分页 KV 缓存。所有动作 logprob 都输入完整的训练批次 RL 损失。反向传播通过这些缓存连接传递梯度,并在优化器更新前合并参数梯度贡献。

figure-3-chunked-differentiation 图 3. KV 缓存状态连接各前向块;缓存梯度连接它们的反向传播。参数梯度贡献在优化器更新前合并。

将前沿 RL 数值对齐引入 TPU

在整个 AI 系统社区中,消除训练–推理不匹配已迅速成为稳定大规模 RL 收敛的最先进要求。近期开源工作——包括 vLLM 与 TorchTitan 以及 RadixArk/LMSys Miles——已经展示了批不变 kernel 和逐位数值对齐如何防止策略优化过程中的离策略漂移。

我们的工作在 Tunix 中为 TPU 提供了这一契约的开源、模块化 JAX/XLA 和 Pallas 实现。经过 多主机 64 颗 TPU v5p(DP8×TP8)网格, 的验证,这些 kernel 和集合通信模式提供了一个可复用的蓝图,团队可以采用它在分布式 JAX/TPU 栈上实现逐位精确的在策略 RL。

评估与结果

为了对我们的 TPU kernel 进行基准测试,我们在合成 FrozenLake 环境上运行 200 步数值验证测试,使用公开的 Qwen3-8B checkpoint 作为基线测试用例,使用 64 颗 TPU v5p 芯片和 DP8×TP8 网格。该配方使用带留一优势的 GSPO-token 损失。我们比较标准训练(使用训练器旧 logprob 且无额外采样器校正)、token 级截断重要性采样(TIS)和 Zero-TIM。

Zero-TIM 配置还使用 token 输入/token 输出(TiTO)处理,以在环境轮次之间保留采样得到的 token ID。对比运行保留其现有的分词路径。

figure-4-results 图 4. 在 FrozenLake 网格(从 2×2 到 9×9)上的单种子训练运行,最多五轮交互。两个面板均显示前 200 个训练步。Logprob 差异未经过平滑绘制;求解率显示淡色原始测量值和十步移动平均。端点标签显示最后十步的平均值。

在该窗口内,Zero-TIM 在每个记录步上都记录到采样器–训练器 logprob 平均绝对差为零,同时其训练求解率上升。标准和 TIS 保留非零差异:TIS 调整它们对更新的贡献,但没有消除底层的不匹配。在这些运行中,Zero-TIM 达到更高的观测求解率。

代码与更新

我们开发了 Zero-TIM 原型,作为 Tunix, 的一部分,Tunix 是 Google 开源的、JAX 原生的库,用于在 Cloud TPU 上进行 LLM RL 和后训练。这些 kernel 模式和三方验证契约在设计上是模块化的——使其易于在现有的多主机 JAX/TPU 服务和训练流水线中采用——我们正在积极扩展对线性注意力和混合专家(MoE)架构的支持。

预览当前实现

发布于: 上一篇 下一篇 相关文章 Build Generative UI Apps with A2UI & CopilotKit Agents 移动端 Web 教程 操作指南

使用 A2UI 与 CopilotKit Agents 构建生成式 UI 应用

2026 年 10 月 29 日
A2UI 1.0: Build delightful, fast, reliable, agentic experiences 移动端 Web 教程 操作指南

A2UI 1.0:构建令人愉悦、快速、可靠的智能体体验

2026 年 11 月 11 日
Catch Go bugs that fuzzing misses with Gemini and a constraint solver AI 云 操作指南 最佳实践

用 Gemini 和约束求解器捕获模糊测试遗漏的 Go 缺陷

2026 年 11 月 12 日
How Agent Anomaly Detection scores on benchmarks we didn't write AI 云 案例研究 影响力

智能体异常检测在我们未编写的基准上表现如何

2026 年 11 月 12 日