先了解这件事
AI 综述
2025年11月10日,vLLM与TorchTitan开源展示了一套在线强化学习方案,使Qwen3 1.7B模型的训练与推理数值实现逐位一致。实验显示,启用逐位一致性后,模型以更少步骤获得了更高的总奖励,表明减少训推数值偏差可能改善训练效果。不过,该方案目前仍有明显性能成本,运行速度比非逐位一致方案慢2.4倍。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 与 TorchTitan 实现训练推理逐位一致的在线强化学习事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月10日
vLLM 官方博客一手
vLLM 与 TorchTitan 实现训练推理逐位一致的在线强化学习
vLLM 与 TorchTitan 开源展示了逐位一致的在线强化学习方案，使 Qwen3 1.7B 的训练与推理数值完全匹配。实验中启用逐位一致性后，模型用更少步骤取得更高总奖励，但当前运行速度比非逐位一致方案慢 2.4x。