AI News

热点事件

Google在Tunix中实现Zero-TIM训练推理数值对齐

1 篇正式报道1 条事件动态更新于 11月16日 08:00

先了解这件事

AI 综述

Google Developers Blog 介绍,Google 在 Tunix 中实现了 Zero-TIM 零训练-推理不匹配方案,在 64 颗 TPU v5p(DP8×TP8)上让采样器与训练器对同一 token 给出逐位相同的 logprob,消除训练与推理之间的数值偏差。具体做法包括固定分片内累加顺序、显式规定跨分片归约顺序、统一采样动作的 logprob 计算路径,以及为服务端 kernel 编写自定义微分规则。在 FrozenLake 上以 Qwen3-8B 跑 200 步验证,Zero-TIM 的采样器与训练器 logprob 平均绝对差为零,观测到的求解率高于标准训练和 TIS。

AI 根据公开报道生成

最新进展 · 正式报道

Google 在 TPU 上用 Zero-TIM 消除训练与推理的数值差异

事件进展

1 个已确认进展

  1. Google在Tunix中实现Zero-TIM训练推理数值对齐

    来源:Google Developers Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月16日

  1. Google Developers Blog一手

    Google 在 TPU 上用 Zero-TIM 消除训练与推理的数值差异

    Google Developers Blog 介绍在 Tunix 中实现的 Zero-TIM,在 64 颗 TPU v5p(DP8×TP8)上让采样器与训练器对同一 token 给出逐位相同的 logprob,消除训练与推理之间的数值偏差。做法包括固定分片内累加顺序、显式规定跨分片归约顺序、统一采样动作的 logprob 计算路径,以及为服务端 kernel 编写自定义微分规则。在 FrozenLake 上以 Qwen3-8B 跑 200 步验证,Zero-TIM 的采样器与训练器 logprob 平均绝对差为零,观测到的求解率高于标准训练和 TIS。

关联事件

  1. 相关事件苹果研究团队在arXiv提交论文披露HALO系统
  2. 相关事件DeepSeek开源推理框架DeepInfer
  3. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型
  4. 相关事件Artificial Analysis 发布 AA-Robotics v0.1 研究预览