先了解这件事
2026年10月11日,Thinking Machines Lab 发布一篇关于 LLM 推理非确定性的技术文章。文章指出,LLM 推理不确定性的主因不是并发加浮点非结合性,而是内核缺少 batch invariance,导致请求结果随服务端负载和 batch size 变化。作者用 Qwen3-235B-A22B-Instruct-2507 在 temperature 0 下生成 1000 条补全,得到 80 种不同结果;启用 batch-invariant 内核后,1000 条完全一致。相关内核已开源在 thinking-machines-lab/batch-invariant-ops,并给出 vLLM 确定性模式示例。文章还称该特性可让采样与训练结果逐位一致,实现真正的 on-policy RL。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Thinking Machines Lab：官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月11日
Thinking Machines Lab：官方博客一手精选
Thinking Machines Lab 解析 LLM 推理不确定性并开源 batch-invariant 内核
Thinking Machines Lab 发文指出，LLM 推理不确定性的主因不是并发加浮点非结合性，而是内核缺少 batch invariance，导致请求结果随服务端负载和 batch size 变化。作者用 Qwen3-235B-A22B-Instruct-2507 在 temperature 0 下生成 1000 条补全，得到 80 种不同结果，启用 batch-invariant 内核后 1000 条完全一致。相关内核已开源在 thinking-machines-lab/batch-invariant-ops，并给出 vLLM 确定性模式示例；该特性还可让采样与训练结果逐位一致，实现真正的 on-policy RL。