先了解这件事
AI 综述
Google Developers Blog 介绍,Google 在 Tunix 中实现了 Zero-TIM 零训练-推理不匹配方案,在 64 颗 TPU v5p(DP8×TP8)上让采样器与训练器对同一 token 给出逐位相同的 logprob,消除训练与推理之间的数值偏差。具体做法包括固定分片内累加顺序、显式规定跨分片归约顺序、统一采样动作的 logprob 计算路径,以及为服务端 kernel 编写自定义微分规则。在 FrozenLake 上以 Qwen3-8B 跑 200 步验证,Zero-TIM 的采样器与训练器 logprob 平均绝对差为零,观测到的求解率高于标准训练和 TIS。
AI 根据公开报道生成
最新进展 · 正式报道
Google 在 TPU 上用 Zero-TIM 消除训练与推理的数值差异事件进展
1 个已确认进展
- 来源:Google Developers Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月16日
Google Developers Blog一手
Google 在 TPU 上用 Zero-TIM 消除训练与推理的数值差异
Google Developers Blog 介绍在 Tunix 中实现的 Zero-TIM,在 64 颗 TPU v5p(DP8×TP8)上让采样器与训练器对同一 token 给出逐位相同的 logprob,消除训练与推理之间的数值偏差。做法包括固定分片内累加顺序、显式规定跨分片归约顺序、统一采样动作的 logprob 计算路径,以及为服务端 kernel 编写自定义微分规则。在 FrozenLake 上以 Qwen3-8B 跑 200 步验证,Zero-TIM 的采样器与训练器 logprob 平均绝对差为零,观测到的求解率高于标准训练和 TIS。