梯度对齐奖励提供了一种有趣的方式,可将教师信息以 on-policy 方式传递给学生,但仍会遇到蒸馏的诸多挑战。

Michael Psenka

Charles O'Neill

Max Kirkby
引言梯度对齐奖励大规模计算奖励模型还会过拟合吗?那么梯度对齐信号到底有多大用处?梯度对齐奖励的训练效果如何?结语参考文献图 1
梯度对齐奖励提供了一种有趣的方式,可将教师信息以 on-policy 方式传递给学生,但仍会遇到标准蒸馏的诸多挑战。
1 引言
在考虑对模型进行后训练时,我们可以将方法大致划分为两个维度:梯度来自何处,以及学习信号来自何处。用这一视角审视经典的后训练方法,即在给定的一组示范上进行监督微调(SFT)或下一 token 预测,其梯度和学习信号都来自这些“专家”示范。相比之下,RL 从学生自身的样本中获取梯度,再从奖励中获取学习信号。两种方法各有其用途,也存在明显的权衡:
1. SFT 可以直接向模型注入更多信息(无论是通过数据还是教师),但往往会侵蚀基础能力。
2. RL 可以在保持基础能力的同时实现学习,但受限于两方面:(a) 模型当前已能切实解决的问题范围,(b) 可靠的奖励结构。
这一背景引出一个自然的问题:能否在仍然对学生样本求梯度的同时,保留专家示范作为学习信号的来源?这需要一个可由任意数据集或教师模型定义的奖励函数,理论上既能带来 on-policy RL 的优势,又能提供 SFT 的通用性。上周我们探讨了 OPSD,这是另一种号称两全其美的算法,但我们发现其偏差仍可能表现得更像 SFT,并改变模型行为(文章链接)。本周,为了更接近标准的 on-policy RL,我们将注意力转向一个密切相关的近亲:梯度对齐奖励。
2 梯度对齐奖励
梯度对齐奖励 [1, 2, 3, 4, 5, 6, 7] 近来被重新提出,作为一种用专家示范为学生 rollout 打分的方法。其做法是通过对数似然梯度,将学生 rollout 和专家示范转换为相同形状。
设 qθq_\thetaqθ 为学生模型,xxx 为提示,y⋆y^\stary⋆ 为专家示范。定义专家和学生 rollout 的梯度为
gθ⋆=∇θlogqθ(y⋆∣x),gθ(y)=∇θlogqθ(y∣x),y∼qθ(⋅∣x).\begin{aligned}g_\theta^\star &= \nabla_\theta\log q_\theta(y^\star\mid x),\\ g_\theta(y) &= \nabla_\theta\log q_\theta(y\mid x),\qquad y\sim q_\theta(\cdot\mid x).\end{aligned}gθ⋆gθ(y)=∇θlogqθ(y⋆∣x),=∇θlogqθ(y∣x),y∼qθ(⋅∣x).然后我们赋予奖励
rθ(x,y,y⋆)=⟨gθ(y),gθ⋆⟩∥gθ(y)∥ ∥gθ⋆∥r_\theta(x,y,y^\star)=\frac{\langle g_\theta(y),g^\star_\theta\rangle}{\|g_\theta(y)\|\,\|g^\star_\theta\|}rθ(x,y,y⋆)=∥gθ(y)∥∥gθ⋆∥⟨gθ(y),gθ⋆⟩并在任一范数接近零时进行数值稳定处理。
gb:=gθ(yb),rb:=rθ(x,yb,y⋆),Δθ=η∇θ[1B∑b=1Bstopgrad(rb)logqθ(yb∣x)]=ηB∑b=1Brbgb.\begin{aligned}g_b&:=g_\theta(y_b),\qquad r_b:=r_\theta(x,y_b,y^\star),\\ \Delta\theta&=\eta\nabla_\theta\left[\frac1B\sum_{b=1}^B\operatorname{stopgrad}(r_b)\log q_\theta(y_b\mid x)\right]\\ &=\frac\eta B\sum_{b=1}^B r_b g_b.\end{aligned}gbΔθ:=gθ(yb),rb:=rθ(x,yb,y⋆),=η∇θ[B1b=1∑Bstopgrad(rb)logqθ(yb∣x)]=Bηb=1∑Brbgb.我们可以从几个角度来看待这个奖励。一种是从梯度结构出发的几何视角:写出完整的梯度更新后,我们得到的是专家梯度在各个 rollout 梯度上的投影的加权和:
Δθ=ηB∥gθ⋆∥∑b=1Bgbgb⊤∥gb∥ gθ⋆=ηB∥gθ⋆∥∑b=1B∥gb∥ projspan{gb}(gθ⋆).\begin{aligned}\Delta\theta&=\frac{\eta}{B\|g_\theta^\star\|}\sum_{b=1}^B\frac{g_b g_b^\top}{\|g_b\|}\,g_\theta^\star\\ &=\frac{\eta}{B\|g_\theta^\star\|}\sum_{b=1}^B\|g_b\|\,\operatorname{proj}_{\operatorname{span}\{g_b\}}(g_\theta^\star).\end{aligned}Δθ=B∥gθ⋆∥ηb=1∑B∥gb∥gbgb⊤gθ⋆=B∥gθ⋆∥ηb=1∑B∥gb∥projspan{gb}(gθ⋆).我们也可以从统计视角来看待它,使用隐式损失函数近似。注意,对于较小的步长 η\etaη,我们得到如下泰勒近似:
logqθ+ηgθ⋆(y∣x)qθ(y∣x)≈η⟨gθ(y),gθ⋆⟩,\begin{aligned}\log\frac{q_{\theta+\eta g_\theta^\star}(y\mid x)}{q_\theta(y\mid x)}&\approx\eta\langle g_\theta(y),g_\theta^\star\rangle,\end{aligned}logqθ(y∣x)qθ+ηgθ⋆(y∣x)≈η⟨gθ(y),gθ⋆⟩,右侧是我们的(未归一化)梯度对齐奖励,左侧是自蒸馏式的似然比 [8, 9],但不同之处在于,我们不是把专家示例放入上下文,而是朝着提高专家示例似然的方向迈出一小步梯度。后一种解释开始揭示我们最终观察到的一些行为:即该奖励仍可能像 SFT 一样,明显偏向专家示例的确切措辞。
3 大规模计算奖励
上面存在一个重要的瓶颈,使得朴素实现的计算不可行:需要将每个单独批次元素的梯度实际计算出来,而在标准反向传播中这些梯度通常是被求和掉的。这导致该对齐奖励被近似或截断;例如只考虑输出层 [4, 7]。然而,借助一些张量技巧和线性性质,我们实际上可以相当高效地计算完整奖励:实际上只需两次标准反向传播!由于这完全在训练器一侧(而 rollout 通常是计算瓶颈),在实践中这几乎不会增加额外开销。
为说明这一点,我们手动推导单个线性层 WWW,并只关注内积 ⟨gθ(y),gθ⋆⟩\langle g_\theta(y),g^\star_\theta\rangle⟨gθ(y),gθ⋆⟩;其他层类型以及所需的批次梯度范数可类似推导。
设 WWW 具有 dind_{\mathrm{in}}din 个输入维度和 doutd_{\mathrm{out}}dout 个输出维度,其中 b=1,…,Bb = 1, \ldots, Bb=1,…,B 索引 rollout 序列,t=1,…,Tt = 1, \ldots, Tt=1,…,T 索引 token。对于序列 bbb,AbA_bAb 是 T-by-dinT\text{-by-}d_{\mathrm{in}}T-by-din 的输入激活矩阵,DbD_bDb 是 T-by-doutT\text{-by-}d_{\mathrm{out}}T-by-dout 的矩阵,其元素为 logqθ(yb∣x)\log q_\theta(y_b \mid x)logqθ(yb∣x) 对该层输出的导数;单个权重梯度 gbg_bgb 和通常的批次求和权重梯度为:
gb=∇Wlogqθ(yb∣x)=Db⊤Ab,∇W∑b=1Blogqθ(yb∣x)=∑b=1BDb⊤Ab.\begin{aligned}g_b&=\nabla_W\log q_\theta(y_b\mid x)=D_b^\top A_b,\\ \nabla_W\sum_{b=1}^B\log q_\theta(y_b\mid x)&=\sum_{b=1}^B D_b^\top A_b.\end{aligned}gb∇Wb=1∑Blogqθ(yb∣x)=∇Wlogqθ(yb∣x)=Db⊤Ab,=b=1∑BDb⊤Ab.普通反向传播会收缩 token 轴和批次轴,留下一个以输入和输出特征为索引的矩阵。然而,根据线性性质,我们可以改为先收缩特征维度、最后收缩 token,从而每个序列只留下一个标量:
存储 gθ⋆g_\theta^\stargθ⋆ 需要一个与权重同尺寸的矩阵,因此包括其计算在内,总时间和层存储的渐近界与基础反向传播相同,仅有常数因子开销:普通反向传播梯度对齐分数时间O(BTdindout)O(BTdindout)空间O (dindout+BT(din+dout))O (dindout+BT(din+dout))\begin{array}{lcc}&\text{Normal backpropagation}&\text{Gradient alignment scores}\\[6pt]\text{Time}&O(BT d_{\rm in}d_{\rm out})&O(BT d_{\rm in}d_{\rm out})\\[6pt]\text{Space}&O\!\left(d_{\rm in}d_{\rm out}+BT(d_{\rm in}+d_{\rm out})\right)&O\!\left(d_{\rm in}d_{\rm out}+BT(d_{\rm in}+d_{\rm out})\right)\end{array}时间空间普通反向传播O(BTdindout)O(dindout+BT(din+dout))梯度对齐分数O(BTdindout)O(dindout+BT(din+dout))
随后这些对齐分数被用于计算最终梯度,即第二次标准反向传播,它用现已计算出的余弦相似度对每个输入梯度批次元素进行缩放。4 模型是否仍会过拟合?所有实验均在四数 Countdown 上进行,使用 Qwen3-8B 作为基础模型,以在存在可验证奖励的环境中测试专家提供奖励的有效性。专家 rollout 由 Opus 5.5 生成。在更大规模训练之前,我们首先测试一个 t随后,这些对齐分数被用于计算最终梯度,即第二次标准反向传播,它用现已计算出的余弦相似度对每个输入梯度批次元素进行缩放。
4 模型是否仍会过拟合?
所有实验均在四数 Countdown 上进行,使用 Qwen3-8B 作为基础模型,以在存在可验证奖励的环境中测试专家提供奖励的有效性。专家 rollout 由 Opus 5.5 生成。
在更大规模训练之前,我们首先用一个单一提示和示范测试一个玩具示例。首先,我们问:在梯度对齐奖励上做 RL 究竟能否拟合?其次,我们接着问:它是否会像 SFT 那样过拟合到确切的措辞?正如泰勒近似解释所暗示的,我们预计它会如此。
在探究这些问题时,我们看到:(a) 准确率在 100 次更新内升至 100%,因此奖励是一致的,我们可以学习;(b) 到第 100 次更新时,全部 64 个样本完全相同(逐字复现专家解)(图 1)。
图 2
图 1:在单一提示和专家示范上优化梯度对齐奖励。存在一个初始学习阶段,模型捕捉到专家模式,但最终会过拟合,使得所有 rollout 都与专家措辞完全一致。
这里的直觉是,“奖励”是在对专家示范进行单步 SFT 之后,将每个 rollout 与学生的结果进行评分,这意味着我们预期示范的措辞会在奖励中体现出来。
那么梯度对齐信号有多大用处?
我们知道可以基于这个信号进行训练,但它与实际环境奖励的对齐程度如何?虽然我们不指望它无噪声且完全相关,但我们希望数值上正确的答案对应更高的梯度对齐奖励。不幸的是,这种区分相当小,如图2所示。
图3
图2:梯度对齐的分布,分别展示正确答案和错误答案。曲线为使用高斯核的核密度估计(并非拟合的高斯分布)。值得注意的是,两个分布看起来都相当接近高斯分布,均值相似,而正确回答的方差略高。
虽然两个分布在变异上可区分(因此更高的梯度对齐阈值会有更高的正确率),但初始奖励结构使这一奖励本身难以起步。剩下的问题是,它能否在标准RL运行之上提供任何有意义的信号,而标准基线无法提供。
梯度对齐奖励的训练效果如何?
虽然与验证奖励的初始相关性相当小,但我们知道这些奖励是可训练的,并希望在整个训练过程中,梯度对齐奖励能变得越来越有用。
为此,我们在一个较小的Countdown子集上比较以下方法:
1. 仅使用来自专家轨迹的梯度对齐奖励。如图2所示,仅凭这一奖励噪声过大,无法在底层环境上取得可靠的收益。
2. 梯度对齐与验证奖励相结合,这是更常见的用例。一种方法是仅在验证奖励提供很少或没有信号时,才依赖梯度对齐奖励:
r_i =\begin{cases}\cos(g_i,g_{\text{expert}}), & k<2 ,\\\mathbf{1}[\text{rollout }i\text{ is correct}], & k\ge2.\end{cases}其中 kkk 是规模为 8 的一组中正确 rollout 的数量。这带来了一定的提升,但被以下方法所超越:
3. 使用验证奖励的标准 GRPO(超参数与最佳梯度对齐运行相匹配),鉴于能够获得真实奖励,这并不令人意外,最后是:
4. 在 on-policy rollout 上带 KL 惩罚的 SFT。正如从几何解释中所预料的,梯度对齐奖励仍可能表现得像 SFT 迭代,而让 SFT 步骤不受约束则可能使优化更容易。
结果均在下方表1中呈现:
| 方法 | 验证准确率 | 正确 / 256 |
|---|---|---|
| 基础模型(更新 0) | 3.9% | 10 |
| 纯梯度对齐 | 3.5% | 9 |
| 梯度对齐 + 验证奖励 | 10.9% | 28 |
| 仅验证奖励 | 23.4% | 60 |
| 带 KL 惩罚的 SFT | 20.3% | 52 |
表1:在Countdown子集上的训练结果。评估来自256个留出提示。
7 结语
梯度对齐提供了一种方法,可以在使用学生生成的回答进行训练的同时利用专家示范。其奖励会随学生而变化,并使算法能够完全基于学生 rollout 进行训练,这为一种将知识灌输到学生模型中的 on-policy 方法带来了希望。
然而,这一特定的奖励 (a) 仍然能够对特定示例过拟合,(b) 是对正确性的噪声估计,并且可能难以训练。值得注意的是,该奖励强烈依赖于参数,使得模型能够以更强的方式对其进行攻击。这些结果是初步的,我们在此不对梯度对齐奖励及其效用做出任何强有力的论断,但正如我们喜欢说的:伟大的想法通常更容易实现。
8 参考文献
1. M. Ren 等。Learning to Reweight Examples for Robust Deep Learning。PMLR 80:4334–4343,2018。
2. S. Müller、A. Biedenkapp 和 F. Hutter。In-Loop Meta-Learning with Gradient-Alignment Reward。arXiv:2102.03275,2021。
3. S. Li 等。LearnAlign: Data Selection for LLM Reinforcement Learning with Improved Gradient Alignment。arXiv:2506.11480,2025。
4. Z. Liang 等。Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning。arXiv:2512.15687,2025。
5. Z. Zhang 等。Grad2Reward: From Sparse Judgment to Dense Rewards for Improving Open-Ended LLM Reasoning。arXiv:2602.01791,2026。
6. N. Yang 等。GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning。arXiv:2602.21492,2026。
7. L. Zheng 等。Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards。arXiv:2609.03342,2026。
8. S. Zhao 等。Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models。arXiv:2601.18734,2026。
9. I. Shenfeld 等。Self-Distillation Enables Continual Learning。arXiv:2601.19897,2026。
引用本工作
@article{baselabs2026-can-gradient-alignment-make-supervision-on-policy-draft-copy,
title = {Can gradient alignment make supervision on-policy? },
author = {Psenka, M. and O'Neill, C. and Kirkby, M.},
journal = {Base Labs},
year = {2026},
number = {009},
url = {https://labs.baseten.co/009},
}来自实验室的相关内容
01On-policy 自蒸馏的偏差
研究·2026年11月

02理解强化学习中价值函数的计算效率
研究·2026年10月


03Mammoth-1 与 Elephant-1:前沿决策模型
Checkpoint·2026年10月



