引言梯度对齐奖励大规模计算奖励模型还会过拟合吗?那么梯度对齐信号到底有多大用处?梯度对齐奖励的训练效果如何?结语参考文献Rollout · 2026年11月梯度对齐能否让监督变成 on-policy?

梯度对齐奖励提供了一种有趣的方式,可将教师信息以 on-policy 方式传递给学生,但仍会遇到蒸馏的诸多挑战。

Michael Psenka

Michael Psenka

charlieoneill

Charles O'Neill

maxkirkby

Max Kirkby

引言梯度对齐奖励大规模计算奖励模型还会过拟合吗?那么梯度对齐信号到底有多大用处?梯度对齐奖励的训练效果如何?结语参考文献

图 1

梯度对齐奖励提供了一种有趣的方式,可将教师信息以 on-policy 方式传递给学生,但仍会遇到标准蒸馏的诸多挑战。

1 引言

在考虑对模型进行后训练时,我们可以将方法大致划分为两个维度:梯度来自何处,以及学习信号来自何处。用这一视角审视经典的后训练方法,即在给定的一组示范上进行监督微调(SFT)或下一 token 预测,其梯度和学习信号都来自这些“专家”示范。相比之下,RL 从学生自身的样本中获取梯度,再从奖励中获取学习信号。两种方法各有其用途,也存在明显的权衡:

1. SFT 可以直接向模型注入更多信息(无论是通过数据还是教师),但往往会侵蚀基础能力。

2. RL 可以在保持基础能力的同时实现学习,但受限于两方面:(a) 模型当前已能切实解决的问题范围,(b) 可靠的奖励结构。

这一背景引出一个自然的问题:能否在仍然对学生样本求梯度的同时,保留专家示范作为学习信号的来源?这需要一个可由任意数据集或教师模型定义的奖励函数,理论上既能带来 on-policy RL 的优势,又能提供 SFT 的通用性。上周我们探讨了 OPSD,这是另一种号称两全其美的算法,但我们发现其偏差仍可能表现得更像 SFT,并改变模型行为(文章链接)。本周,为了更接近标准的 on-policy RL,我们将注意力转向一个密切相关的近亲:梯度对齐奖励。

2 梯度对齐奖励

梯度对齐奖励 [1, 2, 3, 4, 5, 6, 7] 近来被重新提出,作为一种用专家示范为学生 rollout 打分的方法。其做法是通过对数似然梯度,将学生 rollout 和专家示范转换为相同形状。

设 qθq_\thetaqθ​ 为学生模型,xxx 为提示,y⋆y^\stary⋆ 为专家示范。定义专家和学生 rollout 的梯度为

gθ⋆=∇θlog⁡qθ(y⋆∣x),gθ(y)=∇θlog⁡qθ(y∣x),y∼qθ(⋅∣x).\begin{aligned}g_\theta^\star &= \nabla_\theta\log q_\theta(y^\star\mid x),\\ g_\theta(y) &= \nabla_\theta\log q_\theta(y\mid x),\qquad y\sim q_\theta(\cdot\mid x).\end{aligned}gθ⋆​gθ​(y)​=∇θ​logqθ​(y⋆∣x),=∇θ​logqθ​(y∣x),y∼qθ​(⋅∣x).​

然后我们赋予奖励

rθ(x,y,y⋆)=⟨gθ(y),gθ⋆⟩∥gθ(y)∥ ∥gθ⋆∥r_\theta(x,y,y^\star)=\frac{\langle g_\theta(y),g^\star_\theta\rangle}{\|g_\theta(y)\|\,\|g^\star_\theta\|}rθ​(x,y,y⋆)=∥gθ​(y)∥∥gθ⋆​∥⟨gθ​(y),gθ⋆​⟩​

并在任一范数接近零时进行数值稳定处理。

gb:=gθ(yb),rb:=rθ(x,yb,y⋆),Δθ=η∇θ[1B∑b=1Bstopgrad⁡(rb)log⁡qθ(yb∣x)]=ηB∑b=1Brbgb.\begin{aligned}g_b&:=g_\theta(y_b),\qquad r_b:=r_\theta(x,y_b,y^\star),\\ \Delta\theta&=\eta\nabla_\theta\left[\frac1B\sum_{b=1}^B\operatorname{stopgrad}(r_b)\log q_\theta(y_b\mid x)\right]\\ &=\frac\eta B\sum_{b=1}^B r_b g_b.\end{aligned}gb​Δθ​:=gθ​(yb​),rb​:=rθ​(x,yb​,y⋆),=η∇θ​[B1​b=1∑B​stopgrad(rb​)logqθ​(yb​∣x)]=Bη​b=1∑B​rb​gb​.​

我们可以从几个角度来看待这个奖励。一种是从梯度结构出发的几何视角:写出完整的梯度更新后,我们得到的是专家梯度在各个 rollout 梯度上的投影的加权和:

Δθ=ηB∥gθ⋆∥∑b=1Bgbgb⊤∥gb∥ gθ⋆=ηB∥gθ⋆∥∑b=1B∥gb∥ proj⁡span⁡{gb}(gθ⋆).\begin{aligned}\Delta\theta&=\frac{\eta}{B\|g_\theta^\star\|}\sum_{b=1}^B\frac{g_b g_b^\top}{\|g_b\|}\,g_\theta^\star\\ &=\frac{\eta}{B\|g_\theta^\star\|}\sum_{b=1}^B\|g_b\|\,\operatorname{proj}_{\operatorname{span}\{g_b\}}(g_\theta^\star).\end{aligned}Δθ​=B∥gθ⋆​∥η​b=1∑B​∥gb​∥gb​gb⊤​​gθ⋆​=B∥gθ⋆​∥η​b=1∑B​∥gb​∥projspan{gb​}​(gθ⋆​).​

我们也可以从统计视角来看待它,使用隐式损失函数近似。注意,对于较小的步长 η\etaη,我们得到如下泰勒近似:

log⁡qθ+ηgθ⋆(y∣x)qθ(y∣x)≈η⟨gθ(y),gθ⋆⟩,\begin{aligned}\log\frac{q_{\theta+\eta g_\theta^\star}(y\mid x)}{q_\theta(y\mid x)}&\approx\eta\langle g_\theta(y),g_\theta^\star\rangle,\end{aligned}logqθ​(y∣x)qθ+ηgθ⋆​​(y∣x)​​≈η⟨gθ​(y),gθ⋆​⟩,​

右侧是我们的(未归一化)梯度对齐奖励,左侧是自蒸馏式的似然比 [8, 9],但不同之处在于,我们不是把专家示例放入上下文,而是朝着提高专家示例似然的方向迈出一小步梯度。后一种解释开始揭示我们最终观察到的一些行为:即该奖励仍可能像 SFT 一样,明显偏向专家示例的确切措辞。

3 大规模计算奖励

上面存在一个重要的瓶颈,使得朴素实现的计算不可行:需要将每个单独批次元素的梯度实际计算出来,而在标准反向传播中这些梯度通常是被求和掉的。这导致该对齐奖励被近似或截断;例如只考虑输出层 [4, 7]。然而,借助一些张量技巧和线性性质,我们实际上可以相当高效地计算完整奖励:实际上只需两次标准反向传播!由于这完全在训练器一侧(而 rollout 通常是计算瓶颈),在实践中这几乎不会增加额外开销。

为说明这一点,我们手动推导单个线性层 WWW,并只关注内积 ⟨gθ(y),gθ⋆⟩\langle g_\theta(y),g^\star_\theta\rangle⟨gθ​(y),gθ⋆​⟩;其他层类型以及所需的批次梯度范数可类似推导。

设 WWW 具有 dind_{\mathrm{in}}din​ 个输入维度和 doutd_{\mathrm{out}}dout​ 个输出维度,其中 b=1,…,Bb = 1, \ldots, Bb=1,…,B 索引 rollout 序列,t=1,…,Tt = 1, \ldots, Tt=1,…,T 索引 token。对于序列 bbb,AbA_bAb​ 是 T-by-dinT\text{-by-}d_{\mathrm{in}}T-by-din​ 的输入激活矩阵,DbD_bDb​ 是 T-by-doutT\text{-by-}d_{\mathrm{out}}T-by-dout​ 的矩阵,其元素为 log⁡qθ(yb∣x)\log q_\theta(y_b \mid x)logqθ​(yb​∣x) 对该层输出的导数;单个权重梯度 gbg_bgb​ 和通常的批次求和权重梯度为:

gb=∇Wlog⁡qθ(yb∣x)=Db⊤Ab,∇W∑b=1Blog⁡qθ(yb∣x)=∑b=1BDb⊤Ab.\begin{aligned}g_b&=\nabla_W\log q_\theta(y_b\mid x)=D_b^\top A_b,\\ \nabla_W\sum_{b=1}^B\log q_\theta(y_b\mid x)&=\sum_{b=1}^B D_b^\top A_b.\end{aligned}gb​∇W​b=1∑B​logqθ​(yb​∣x)​=∇W​logqθ​(yb​∣x)=Db⊤​Ab​,=b=1∑B​Db⊤​Ab​.​

普通反向传播会收缩 token 轴和批次轴,留下一个以输入和输出特征为索引的矩阵。然而,根据线性性质,我们可以改为先收缩特征维度、最后收缩 token,从而每个序列只留下一个标量:

存储 gθ⋆g_\theta^\stargθ⋆​ 需要一个与权重同尺寸的矩阵,因此包括其计算在内,总时间和层存储的渐近界与基础反向传播相同,仅有常数因子开销:

普通反向传播梯度对齐分数时间O(BTdindout)O(BTdindout)空间O ⁣(dindout+BT(din+dout))O ⁣(dindout+BT(din+dout))\begin{array}{lcc}&\text{Normal backpropagation}&\text{Gradient alignment scores}\\[6pt]\text{Time}&O(BT d_{\rm in}d_{\rm out})&O(BT d_{\rm in}d_{\rm out})\\[6pt]\text{Space}&O\!\left(d_{\rm in}d_{\rm out}+BT(d_{\rm in}+d_{\rm out})\right)&O\!\left(d_{\rm in}d_{\rm out}+BT(d_{\rm in}+d_{\rm out})\right)\end{array}时间空间​普通反向传播O(BTdin​dout​)O(din​dout​+BT(din​+dout​))​梯度对齐分数O(BTdin​dout​)O(din​dout​+BT(din​+dout​))​

随后这些对齐分数被用于计算最终梯度,即第二次标准反向传播,它用现已计算出的余弦相似度对每个输入梯度批次元素进行缩放。4 模型是否仍会过拟合?所有实验均在四数 Countdown 上进行,使用 Qwen3-8B 作为基础模型,以在存在可验证奖励的环境中测试专家提供奖励的有效性。专家 rollout 由 Opus 5.5 生成。在更大规模训练之前,我们首先测试一个 t

随后,这些对齐分数被用于计算最终梯度,即第二次标准反向传播,它用现已计算出的余弦相似度对每个输入梯度批次元素进行缩放。

4 模型是否仍会过拟合?

所有实验均在四数 Countdown 上进行,使用 Qwen3-8B 作为基础模型,以在存在可验证奖励的环境中测试专家提供奖励的有效性。专家 rollout 由 Opus 5.5 生成。

在更大规模训练之前,我们首先用一个单一提示和示范测试一个玩具示例。首先,我们问:在梯度对齐奖励上做 RL 究竟能否拟合?其次,我们接着问:它是否会像 SFT 那样过拟合到确切的措辞?正如泰勒近似解释所暗示的,我们预计它会如此。

在探究这些问题时,我们看到:(a) 准确率在 100 次更新内升至 100%,因此奖励是一致的,我们可以学习;(b) 到第 100 次更新时,全部 64 个样本完全相同(逐字复现专家解)(图 1)。

optimizing gradient alignment rewards over a single prompt and expert demonstration. There is an initial learning phase where the model picks up on the expert pattern, but eventually overfits so that all rollouts match the expert wording exactly.

图 2

图 1:在单一提示和专家示范上优化梯度对齐奖励。存在一个初始学习阶段,模型捕捉到专家模式,但最终会过拟合,使得所有 rollout 都与专家措辞完全一致。

这里的直觉是,“奖励”是在对专家示范进行单步 SFT 之后,将每个 rollout 与学生的结果进行评分,这意味着我们预期示范的措辞会在奖励中体现出来。

那么梯度对齐信号有多大用处?

我们知道可以基于这个信号进行训练,但它与实际环境奖励的对齐程度如何?虽然我们不指望它无噪声且完全相关,但我们希望数值上正确的答案对应更高的梯度对齐奖励。不幸的是,这种区分相当小,如图2所示。

distribution of gradient alignments, shown separately for correct and incorrect answers. Curves are kernel density estimates with Gaussian kernels (not fitted Gaussians). Notably, both distributions look fairly Gaussian, have similar means, with the correct responses having slightly higher variance.

图3

图2:梯度对齐的分布,分别展示正确答案和错误答案。曲线为使用高斯核的核密度估计(并非拟合的高斯分布)。值得注意的是,两个分布看起来都相当接近高斯分布,均值相似,而正确回答的方差略高。

虽然两个分布在变异上可区分(因此更高的梯度对齐阈值会有更高的正确率),但初始奖励结构使这一奖励本身难以起步。剩下的问题是,它能否在标准RL运行之上提供任何有意义的信号,而标准基线无法提供。

梯度对齐奖励的训练效果如何?

虽然与验证奖励的初始相关性相当小,但我们知道这些奖励是可训练的,并希望在整个训练过程中,梯度对齐奖励能变得越来越有用。

为此,我们在一个较小的Countdown子集上比较以下方法:

1. 仅使用来自专家轨迹的梯度对齐奖励。如图2所示,仅凭这一奖励噪声过大,无法在底层环境上取得可靠的收益。

2. 梯度对齐与验证奖励相结合,这是更常见的用例。一种方法是仅在验证奖励提供很少或没有信号时,才依赖梯度对齐奖励:

r_i =\begin{cases}\cos(g_i,g_{\text{expert}}), & k<2 ,\\\mathbf{1}[\text{rollout }i\text{ is correct}], & k\ge2.\end{cases}

其中 kkk 是规模为 8 的一组中正确 rollout 的数量。这带来了一定的提升,但被以下方法所超越:

3. 使用验证奖励的标准 GRPO(超参数与最佳梯度对齐运行相匹配),鉴于能够获得真实奖励,这并不令人意外,最后是:

4. 在 on-policy rollout 上带 KL 惩罚的 SFT。正如从几何解释中所预料的,梯度对齐奖励仍可能表现得像 SFT 迭代,而让 SFT 步骤不受约束则可能使优化更容易。

结果均在下方表1中呈现:

方法验证准确率正确 / 256
基础模型(更新 0)3.9%10
纯梯度对齐3.5%9
梯度对齐 + 验证奖励10.9%28
仅验证奖励23.4%60
带 KL 惩罚的 SFT20.3%52

表1:在Countdown子集上的训练结果。评估来自256个留出提示。

7 结语

梯度对齐提供了一种方法,可以在使用学生生成的回答进行训练的同时利用专家示范。其奖励会随学生而变化,并使算法能够完全基于学生 rollout 进行训练,这为一种将知识灌输到学生模型中的 on-policy 方法带来了希望。

然而,这一特定的奖励 (a) 仍然能够对特定示例过拟合,(b) 是对正确性的噪声估计,并且可能难以训练。值得注意的是,该奖励强烈依赖于参数,使得模型能够以更强的方式对其进行攻击。这些结果是初步的,我们在此不对梯度对齐奖励及其效用做出任何强有力的论断,但正如我们喜欢说的:伟大的想法通常更容易实现。

8 参考文献

1. M. Ren 等。Learning to Reweight Examples for Robust Deep Learning。PMLR 80:4334–4343,2018。

2. S. Müller、A. Biedenkapp 和 F. Hutter。In-Loop Meta-Learning with Gradient-Alignment Reward。arXiv:2102.03275,2021。

3. S. Li 等。LearnAlign: Data Selection for LLM Reinforcement Learning with Improved Gradient Alignment。arXiv:2506.11480,2025。

4. Z. Liang 等。Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning。arXiv:2512.15687,2025。

5. Z. Zhang 等。Grad2Reward: From Sparse Judgment to Dense Rewards for Improving Open-Ended LLM Reasoning。arXiv:2602.01791,2026。

6. N. Yang 等。GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning。arXiv:2602.21492,2026。

7. L. Zheng 等。Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards。arXiv:2609.03342,2026。

8. S. Zhao 等。Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models。arXiv:2601.18734,2026。

9. I. Shenfeld 等。Self-Distillation Enables Continual Learning。arXiv:2601.19897,2026。

引用本工作

@article{baselabs2026-can-gradient-alignment-make-supervision-on-policy-draft-copy,
  title   = {Can gradient alignment make supervision on-policy? },
  author  = {Psenka, M. and O'Neill, C. and Kirkby, M.},
  journal = {Base Labs},
  year    = {2026},
  number  = {009},
  url     = {https://labs.baseten.co/009},
}

来自实验室的相关内容

01

On-policy 自蒸馏的偏差

研究·2026年11月maxkirkbyMichael Psenkacharlieoneill
02

理解强化学习中价值函数的计算效率

研究·2026年10月HarryAly ShariffmaxkirkbyMichael Psenka
03

Mammoth-1 与 Elephant-1:前沿决策模型

Checkpoint·2026年10月maxkirkbyMichael PsenkathomasAaryam Sharma headshotcharlieoneill