先了解这件事
AI 综述
2026年10月30日,Baseten Base Labs发布研究,分析强化学习中价值函数的计算效率,对比PPO critic与GRPO。其玩具实验显示,在相同步数下PPO critic与GRPO表现持平或落后;而“完美critic”最多只能消除40-60%的优势方差。Base Labs据此认为,价值函数只有在消除的梯度噪声超过其训练成本时才值得采用,唯一可能有帮助的场景是小value head,但收益也仅是边际性的。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Baseten Base Labs：模型研究
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月30日
Baseten Base Labs：模型研究一手
解析 RL 中价值函数的计算效率：PPO critic 与 GRPO 对比 | Base Labs
Baseten Base Labs 的玩具实验显示，在相同步数下 PPO critic 与 GRPO 表现持平或落后，而“完美 critic”最多只能消除 40-60% 的优势方差。作者认为价值函数只有在消除的梯度噪声超过其训练成本时才值得，唯一可能有帮助的场景是小 value head，但收益也仅是边际性的。