解析 RL 中价值函数的计算效率：PPO critic 与 GRPO 对比

概述为 PPO 和 GRPO 建立基线表 1. 标准 PPO critic 与 GRPO 在相同步数下的对比借助 critic 和 group 榨取“额外收益”这种方差的消除足够吗？结论参考文献研究 · 2026年10月理解 RL 中价值函数的计算效率

在本周的文章中，我们深入探讨方差缩减的艺术

Harry Partridge

Aly Shariff

Max Kirkby

Michael Psenka

概述为 PPO 和 GRPO 建立基线借助 critic 和 group 榨取“额外收益”这种方差的消除足够吗？结论参考文献

1 概述

研究实验室的起步往往涉及重温经典文献，并理解某些方法为何奏效（或为何不奏效）。Base Labs 本周的一个主题是深入理解并内化后训练领域的历史经典。一个非常典型的例子（也是当下最受关注的）是 GRPO [1] 的引入，以及相应地，PPO 的式微。

在 GRPO 被引入之前，对语言模型做 RL 意味着使用 PPO [2]。简而言之，PPO 涉及某个策略和一个价值模型（该策略的“critic”），后者试图预测每个 token 处答案的得分高低 [3]。创建 GRPO 的初衷是用对每个答案打分来取代 critic， 打分依据是 针对同一提示采样的一组补全的平均奖励。这里的理论论点是：实例化并训练第二个网络，其参数量基本与策略网络相同，而且或许更重要的是，它必须尝试仅凭结束时给出的单个标量奖励，对每个 token 做出准确的预测。在 GRPO 发布的那个月，RLOO [4] 也在摘要和对话任务上使用 REINFORCE 配合留一法基线（例如该提示其他答案的平均奖励）超越了 PPO。

随着 DeepSeek-R1-Zero [5] 于 2025 年 1 月发布，GRPO“正式”取代 PPO 成为推理 RL 的默认方法。但风向是否已经转变？事实上，我们读到的许多近期 ICLR 投稿（这些当然仍是匿名的）又回到了重新训练 critic 的路子上！

我们决定做一些玩具实验，来探究 critic 究竟在何时才真正值得为训练它而付出的额外算力。从理论上讲，价值函数只有在它消除的梯度噪声超过其运行成本（以更多 rollout 的机会成本计）时才应该“值得”。通常情况并非如此。大多数用 PPO critic 或其替代物替换组均值的论文，在相同步数下表现相当。

那么人们可能会问一个更有趣的问题：在组本身之上再加一个 critic 会怎样？我们发现这带来的帮助甚至比我们期望的还要小。例如，在两个单轮任务上测试时，一个“完美 critic”最多只能消除 40-60% 的优势方差。我们发现 critic 唯一可能有帮助的领域是使用小型 value head，但即便如此，这种收益也可能是边际性的。

Computational tradeoff for including a learned value function in RL. — 图 1
在强化学习中引入学习到的价值函数的计算权衡。权衡曲线的推导见第 4 节，所绘制实验点的数值细节可在表 2 中找到。

2 为 PPO 和 GRPO 获取基线

作为起点，我们决定亲自深入研究最新的价值函数文献。在这些已发表（但不一定经过同行评审，我们不对其整体质量作出任何断言）的文献中，我们发现 PPO critic 在相同步数下与 GRPO 持平或落后（表 1）。理解这一结果的直观解释是：对于基线（这在每种策略梯度方法中都很常见），GRPO 使用组均值，而 PPO 使用学习到的 critic。在相同步数下，基线需要提示的“价值”，这在 GRPO 中很简洁，因为它是新鲜的蒙特卡洛估计，但对必须学习该价值的 PPO 来说则效果不佳。

表 1. 标准 PPO critic 与 GRPO 在相同步数下的比较

论文与背景（括号内）	PPO	GRPO
GAVE [6]（ALFWorld / 数学）	63.9 / 36.8	64.1 / 44.4
PACT [7]（智能体数学）	59.7	64.1
GenAC [8]（数学，3 个随机种子）	50.85	49.96

然而，这些论文中有许多确实报告了相对于 GRPO 的大幅提升！这些收益来自多种机制。例如，TCG-GRPO [9] 保留了 GRPO 的分组，并利用其 critic 在轮次之间分配信用，而 AC2 [10] 则利用其 critic 提前停止生成，从而在解码计算量更少的情况下与 GRPO 持平。

贯穿许多这类论文的核心主题（至少在我们看来）似乎是：价值函数能在分组之上额外带来什么。

3 借助 critic 和分组榨取“额外收益”

在此阶段需要指出的一点是，组相对奖励与学习到的价值函数并不一定互斥；事实上，我们可以学习一个价值函数来估计有限组估计值与真实价值函数之间的期望差异。我们在下文对此进行形式化。

对于固定的提示和策略，采样 G≥2G\geq2G≥2 个独立答案，其奖励为 RiR_iRi，均值为 μ\muμ，方差为 σR2\sigma_R^2σR2。定义留一法基线和优势，且不除以组奖励标准差 [11]，即

Bi=1G−1∑j≠iRj,Ai(0)=Ri−Bi.B_i=\frac{1}{G-1}\sum_{j\ne i}R_j,\qquad A_i^{(0)}=R_i-B_i.Bi=G−11j=i∑Rj,Ai(0)=Ri−Bi。

由于 RiR_iRi 和 BiB_iBi 相互独立，

Var⁡(Ai(0))=σR2+σR2G−1.\operatorname{Var}(A_i^{(0)})=\sigma_R^2+\frac{\sigma_R^2}{G-1}.Var(Ai(0))=σR2+G−1σR2。

第二项是由仅用 G−1G-1G−1 个其他答案估计提示均值奖励所引入的噪声。

现在令 Si,tS_{i,t}Si,t 为 token ttt 之前的前缀，并定义理想价值函数 Vi,t=E[Ri∣Si,t]V_{i,t}=\mathbb E[R_i\mid S_{i,t}]Vi,t=E[Ri∣Si,t]。根据全方差定律，

σR2=Var(Vi,t)+E[Var(Ri∣Si,t)].\sigma_R^2=\operatorname{Var}(V_{i,t})+\mathbb E[\operatorname{Var}(R_i\mid S_{i,t})].σR2=Var(Vi,t)+E[Var(Ri∣Si,t)].

一个早期且不可逆的符号错误可能使失败变得可预测；而最后一位数字的错误则可能让成功直到最后仍不确定。

一个仅基于前缀训练、用于预测 Ri−BiR_i-B_iRi−Bi 的残差 critic 的理想预测为

vi,t∗=E[Ri−Bi∣Si,t]=Vi,t−μ.v_{i,t}^*=\mathbb E[R_i-B_i\mid S_{i,t}]=V_{i,t}-\mu.vi,t∗=E[Ri−Bi∣Si,t]=Vi,t−μ.

将其减去得到

Ai,t(∗)=(Ri−Vi,t)−(Bi−μ),A_{i,t}^{(*)}=(R_i-V_{i,t})-(B_i-\mu),Ai,t(∗)=(Ri−Vi,t)−(Bi−μ),

其方差为

Var(Ai,t(∗))=(1−ft)σR2+σR2G−1,\operatorname{Var}(A_{i,t}^{(*)})=(1-f_t)\sigma_R^2+\frac{\sigma_R^2}{G-1},Var(Ai,t(∗))=(1−ft)σR2+G−1σR2,

其中 ft=Var⁡(Vi,t)/σR2f_t=\operatorname{Var}(V_{i,t})/\sigma_R^2ft=Var(Vi,t)/σR2 是可从前缀预测的奖励方差比例。注意，这是标准最优价值函数方差（第一项）与组奖励方差（第二项）之和。critic 消除了可预测的奖励变化，但无法预测独立采样的基线噪声。这种基于信息的区分对于解释 critic 方差缩减至关重要 [7, 12, 13, 14].

最后，将解释方差定义为被消除的原始优势方差比例（越高表示剩余方差越低）：

EVt=1−Var⁡(Ri−Bi−vi,t)Var⁡(Ri−Bi).\mathrm{EV}_t=1-\frac{\operatorname{Var}(R_i-B_i-v_{i,t})}{\operatorname{Var}(R_i-B_i)}.EVt=1−Var(Ri−Bi)Var(Ri−Bi−vi,t).

上述公式给出了上限

EVt≤(1−1G)ft.\mathrm{EV}_t\leq\left(1-\frac1G\right)f_t.EVt≤(1−G1)ft.

如果残差预测器还接收实际基线 BiB_iBi，其理想预测可以显式减去该基线。将此基线感知预测器和优势分别记为 v~\widetilde vv 和 A~\widetilde AA：

v~i,t∗=E[Ri−Bi∣Si,t,Bi]=Vi,t−Bi,A~i,t(∗)=Ri−Bi−v~i,t∗=Ri−Vi,t.\begin{aligned}\widetilde v_{i,t}^*&=\mathbb E[R_i-B_i\mid S_{i,t},B_i]=V_{i,t}-B_i,\\\widetilde A_{i,t}^{(*)}&=R_i-B_i-\widetilde v_{i,t}^*=R_i-V_{i,t}.\end{aligned}vi,t∗Ai,t(∗)=E[Ri−Bi∣Si,t,Bi]=Vi,t−Bi,=Ri−Bi−vi,t∗=Ri−Vi,t.

组基线噪声现在被抵消，只留下无法从前缀预测的奖励变化：

Var⁡(A~i,t(∗))=(1−ft)σR2.\operatorname{Var}(\widetilde A_{i,t}^{(*)})=(1-f_t)\sigma_R^2.Var(Ai,t(∗))=(1−ft)σR2.

相对于同样的仅组优势，这给出了更高的解释方差上限：

EVt≤1−(1−ft)σR2σR2+σR2/(G−1)=1G+(1−1G)ft.\mathrm{EV}_t\leq 1-\frac{(1-f_t)\sigma_R^2}{\sigma_R^2+\sigma_R^2/(G-1)}=\frac1G+\left(1-\frac1G\right)f_t.EVt≤1−σR2+σR2/(G−1)(1−ft)σR2=G1+(1−G1)ft.

额外的 1/G1/G1/G 恰好是组基线噪声所贡献的原始优势方差比例。这一更高的上限需要访问 BiB_iBi；在完美预测器下，所得优势与普通价值函数的优势完全相同。

我们在两个单轮任务（DAPO 的数学数据集，以及我们称为 register-tracking 的内部数据集）上用 Qwen3-4B 估计了前缀价值。我们对 64 个提示的每个答案沿八个位置采样了 16 个新续写。这些平均值估计了条件期望奖励，并带有有限样本不确定性。我们估计的 fff 值为 0.31–0.54，意味着在 G=8G=8G=8 时仅前缀的上限约为 27–47%。这给我们带来了约 40–60% 的基线抵消。

4这种方差的消除足够吗？

虽然学习到的价值函数可以减少方差，但这伴随着物理约束，即以下各项：

上文 EV 界中建立的卡诺式最大效率，以及
评估学习到的价值函数所需的额外计算的机会成本。

因此，相关的比较是每单位计算所对应的、由奖励导出的优势方差。critic 本身并不改变奖励方差 σR2\sigma_R^2σR2；它降低的是用作优势的残差的方差。令 A(0)=R−BA^{(0)}=R-BA(0)=R−B、A(v)=R−B−vtA^{(v)}=R-B-v_tA(v)=R−B−vt，且 σA2=Var⁡(A(0))\sigma_A^2=\operatorname{Var}(A^{(0)})σA2=Var(A(0))。根据 EV 的定义，

Var⁡(A(v))=(1−EV)Var⁡(A(0))=(1−EV)σA2.\operatorname{Var}(A^{(v)})=(1-\mathrm{EV})\operatorname{Var}(A^{(0)})=(1-\mathrm{EV})\sigma_A^2.Var(A(v))=(1−EV)Var(A(0))=(1−EV)σA2。

对于 KKK 个独立组，从每组中取一个在固定 token 位置上的指定答案。这些独立优势样本的均值，在没有 critic 时方差为 σA2/K\sigma_A^2/KσA2/K，在有 critic 时为 (1−EV)σA2/K(1-\mathrm{EV})\sigma_A^2/K(1−EV)σA2/K。这里 GGG 统计每个提示的答案数，而 KKK 统计独立组数；这样可以避免把共享同一组基线的优势当作独立样本处理。

假设 critic 使每组的总计算量增加一个比例 ccc，其中包括其评估和训练。假设成本线性缩放，这些计算本可以在没有 critic 的情况下处理 (1+c)K(1+c)K(1+c)K 个组。当满足下式时，critic 在同等计算量下带来更低的方差：

(1−EV)σA2K<σA2(1+c)K,\frac{(1-\mathrm{EV})\sigma_A^2}{K}<\frac{\sigma_A^2}{(1+c)K},K(1−EV)σA2<(1+c)KσA2，

或等价地，

EV>c1+c.\mathrm{EV}>\frac{c}{1+c}.EV>1+cc。

隐含的计算效率乘数为 1/[(1+c)(1−EV)]1/[(1+c)(1-\mathrm{EV})]1/[(1+c)(1−EV)]。这是蒙特卡洛估计器标准的成本–方差比较 [15].

本计算使用我们实验中测得的优势 EV。将其效率乘数解释为策略梯度效率，还需额外假设梯度方差与优势方差成比例下降。因此，表 2 中的数值是基于 EV 的计算效率估计。

表 2. 额外的 critic 计算量 ccc 以及基于 Qwen3-4B 的 reasoning-gym rollout 离线测得的优势 EV。此处使用的 critic 同样接收组基线。所需 EV 为盈亏平衡阈值 c/(1+c)c/(1+c)c/(1+c)。此处的乘数均为基于 EV 的估计。

Critic 类型	c	所需 EV	优势 EV	计算效率乘数
价值头（36 层中的最后 3 层）	0.083	0.08	0.248	1.23x
价值头（36 层中的最后 6 层）	0.17	0.15	0.286	1.20x
独立 critic（每批次训练一次）	0.75	0.43	0.354	0.88x
我们的 critic（每批次训练两次）	1.83	0.65	0.354	0.55x

5 结论

在重新审视学习价值函数与组估计之间权衡的论文再度兴起的背景下，我们对二者结合的情形进行了一些分析，以考察我们能在多大程度上提升方差缩减的效率。在理论上，并在一定程度上从经验上，我们发现即使是一个完美的 critic，也最多只能消除 40-60% 的优势方差；而为了在计算上高效，它消除的这部分方差必须超过训练它所消耗的成比例计算量。正如近期 ICLR 投稿中所见，以及我们在一个更易学习的函数（相对于留出组奖励均值的残差）上使用更廉价 critic 所取得的正面结果所示，critic 更适合那些所需预测能力较少的更专门化任务，例如提供中间信用分配（例如轮次之间）[9] 或提前停止 rollout 生成 [10].

6 参考文献

邵志宏、王培毅、朱启豪等。DeepSeekMath：推动开放语言模型中的数学推理极限。 arXiv:2402.03300, 2024.
John Schulman、Filip Wolski、Prafulla Dhariwal 等。近端策略优化算法。 arXiv:1707.06347, 2017.
John Schulman、Philipp Moritz、Sergey Levine、Michael Jordan、Pieter Abbeel。使用广义优势估计的高维连续控制。ICLR 2016； arXiv:1506.02438.
Arash Ahmadian、Chris Cremer、Matthias Gallé 等。回归基础：重新审视用于大语言模型人类反馈学习的 REINFORCE 风格优化。 ACL 2024; arXiv:2402.14740.
DeepSeek-AI。DeepSeek-R1：通过强化学习激励大语言模型的推理能力。 arXiv:2501.12948, 2025.
匿名。学习群体无法告知的内容：用于大语言模型强化学习的分解式评论家（GAVE）。ICLR 2027 投稿 #40160（审稿中）， openreview.net/forum?id=Mar13jaBrq, 2026.
匿名。PACT：从信用分配到评论家对齐。ICLR 2027 投稿 #30208（审稿中）， openreview.net/forum?id=4TBXSf38jT, 2026.
匿名。让价值模型回归：用于大语言模型强化学习的生成式评论家（GenAC）。ICLR 2027 投稿 #9841（审稿中）， openreview.net/forum?id=fLtvoMCPTj, 2026.
匿名。用于终端智能体训练与推理的轮次级评论家引导（TCG-GRPO）。ICLR 2027 投稿 #45676（审稿中）， openreview.net/forum?id=6LRYa55PMD, 2026.
匿名。更信任评论家（AC2：带动作分块的演员-评论家）。ICLR 2027 投稿 #34211（审稿中）， openreview.net/forum?id=bUk8OiOoR9, 2026.
刘子晨、陈昌宇、李文俊等。理解类 R1-Zero 训练：一个批判性视角（Dr. GRPO）。 arXiv:2503.20783, 2025.
匿名。分支何时值得？树结构策略梯度的精确方差分析。ICLR 2027 投稿 #47574（审稿中）， openreview.net/forum?id=Rq6wikzBdc, 2026.
George Tucker、Surya Bhupatiraju、Shixiang Gu、Richard E. Turner、Zoubin Ghahramani、Sergey Levine。强化学习中动作相关基线的幻象。ICML 2018； arXiv:1802.10031.
Siddarth Venkatraman、Matthieu Dinot、Laurence Aitchison。Le Critique：面向大语言模型强化学习的特权价值函数。 arXiv:2608.16739, 2026.
J. M. Hammersley、D. C. Handscomb。蒙特卡洛方法。Methuen，1964； doi:10.1007/978-94-009-5819-7.

引用本工作

@article{baselabs2026-understanding-the-compute-efficiency-of-value-functions-in-rl,
  title   = {Understanding the compute efficiency of value functions in RL},
  author  = {Partridge, H. and Shariff, A. and Kirkby, M. and Psenka, M.},
  journal = {Base Labs},
  year    = {2026},
  number  = {003},
  url     = {https://labs.baseten.co/003},
}

实验室相关

Mammoth-1 与 Elephant-1：前沿决策模型

检查点·2026年10月