梯度对齐奖励提供了一种有趣的方式,可将教师信息以 on-policy 方式传递给学生,但仍会遇到蒸馏的诸多挑战。

Michael Psenka

Charles O'Neill

Max Kirkby
引言梯度对齐奖励大规模计算奖励模型仍然会过拟合吗?那么梯度对齐信号到底有多大用处?梯度对齐奖励的训练效果如何?结语参考文献图 1
梯度对齐奖励示意图。向量分别表示学生模型在学生 rollout 和专家示范上的似然梯度方向。
1 引言
在考虑对模型进行后训练时,我们可以将方法大致划分为两个维度:梯度来自何处,以及学习信号来自何处。用这一视角审视经典的后训练方法——在给定示范集上进行监督微调(SFT)或下一 token 预测——其梯度和学习信号都来自这些“专家”示范。相比之下,RL 从学生自身的样本中获取梯度,再从奖励中获取学习信号。两种方法各有其用途,也存在一些明显的权衡:
1. SFT 可以直接向模型注入更多信息(通过数据或教师),但往往会侵蚀基础能力。
2. RL 可以在保持基础能力的同时实现学习,但受限于 (a) 模型当前已能切实解决的问题,以及 (b) 可靠的奖励结构。
这一背景引出一个自然的问题:能否在保留专家示范作为学习信号来源的同时,仍然在学生样本上计算梯度?这需要一个可由任意数据集或教师模型定义的奖励函数,理论上既能带来 on-policy RL 的优势,又能提供 SFT 的通用性。上周我们探讨了 OPSD——另一种号称两全其美的算法——并发现其偏差仍可能表现得更像 SFT,从而改变模型行为(文章链接)。本周,为了更进一步贴近标准 on-policy RL,我们将注意力转向一个密切相关的近亲:梯度对齐奖励。
2 梯度对齐奖励
梯度对齐奖励 [1, 2, 3, 4, 5, 6, 7] 近期被重新提出,作为一种用专家示范为学生 rollout 打分的方法。其做法是通过对数似然梯度,将学生 rollout 和专家示范转换为相同形状。
设 qθq_\thetaqθ 为学生模型,xxx 为提示,y⋆y^\stary⋆ 为专家示范。定义专家和学生的 rollout 梯度为
gθ⋆=∇θlogqθ(y⋆∣x),gθ(y)=∇θlogqθ(y∣x),y∼qθ(⋅∣x).\begin{aligned}g_\theta^\star &= \nabla_\theta\log q_\theta(y^\star\mid x),\\ g_\theta(y) &= \nabla_\theta\log q_\theta(y\mid x),\qquad y\sim q_\theta(\cdot\mid x).\end{aligned}gθ⋆gθ(y)=∇θlogqθ(y⋆∣x),=∇θlogqθ(y∣x),y∼qθ(⋅∣x).然后我们赋予奖励
rθ(x,y,y⋆)=⟨gθ(y),gθ⋆⟩∥gθ(y)∥ ∥gθ⋆∥r_\theta(x,y,y^\star)=\frac{\langle g_\theta(y),g^\star_\theta\rangle}{\|g_\theta(y)\|\,\|g^\star_\theta\|}rθ(x,y,y⋆)=∥gθ(y)∥∥gθ⋆∥⟨gθ(y),gθ⋆⟩并在任一范数接近零时进行数值稳定化。
gb:=gθ(yb),rb:=rθ(x,yb,y⋆),Δθ=η∇θ[1B∑b=1Bstopgrad(rb)logqθ(yb∣x)]=ηB∑b=1Brbgb.\begin{aligned}g_b&:=g_\theta(y_b),\qquad r_b:=r_\theta(x,y_b,y^\star),\\ \Delta\theta&=\eta\nabla_\theta\left[\frac1B\sum_{b=1}^B\operatorname{stopgrad}(r_b)\log q_\theta(y_b\mid x)\right]\\ &=\frac\eta B\sum_{b=1}^B r_b g_b.\end{aligned}gbΔθ:=gθ(yb),rb:=rθ(x,yb,y⋆),=η∇θ[B1b=1∑Bstopgrad(rb)logqθ(yb∣x)]=Bηb=1∑Brbgb.我们可以从几个角度理解这一奖励。其一是从梯度结构出发的几何视角:写出完整的梯度更新后,我们得到专家梯度在各个 rollout 梯度上的投影的加权和:
Δθ=ηB∥gθ⋆∥∑b=1Bgbgb⊤∥gb∥ gθ⋆=ηB∥gθ⋆∥∑b=1B∥gb∥ projspan{gb}(gθ⋆).\begin{aligned}\Delta\theta&=\frac{\eta}{B\|g_\theta^\star\|}\sum_{b=1}^B\frac{g_b g_b^\top}{\|g_b\|}\,g_\theta^\star\\ &=\frac{\eta}{B\|g_\theta^\star\|}\sum_{b=1}^B\|g_b\|\,\operatorname{proj}_{\operatorname{span}\{g_b\}}(g_\theta^\star).\end{aligned}Δθ=B∥gθ⋆∥ηb=1∑B∥gb∥gbgb⊤gθ⋆=B∥gθ⋆∥ηb=1∑B∥gb∥projspan{gb}(gθ⋆).我们也可以从统计视角,利用隐式损失函数近似来理解。注意对于小步长 η\etaη,我们有以下泰勒近似:
logqθ+ηgθ⋆(y∣x)qθ(y∣x)≈η⟨gθ(y),gθ⋆⟩,\begin{aligned}\log\frac{q_{\theta+\eta g_\theta^\star}(y\mid x)}{q_\theta(y\mid x)}&\approx\eta\langle g_\theta(y),g_\theta^\star\rangle,\end{aligned}logqθ(y∣x)qθ+ηgθ⋆(y∣x)≈η⟨gθ(y),gθ⋆⟩,右侧是我们的(未归一化)梯度对齐奖励,左侧是自蒸馏式的似然比 [8, 9],但这里我们不是把专家示例放入上下文,而是朝着提高专家示例似然的方向迈出一小步梯度。后一种解释开始凸显我们最终观察到的一些行为:即该奖励仍会像 SFT 一样,明显偏向专家示例的具体措辞。
3 大规模计算奖励
上面存在一个重要的瓶颈,使得朴素实现的计算不可行:需要将每个单独批次元素的梯度具体化,而这些梯度在标准反向传播中通常会被求和。这导致该对齐奖励被近似或截断;例如只考虑输出层 [4, 7]。然而,利用一些张量技巧和线性性质,我们实际上可以相当高效地计算完整奖励:实际上只需两次标准反向传播!由于这完全在训练器一侧(而 rollout 通常是计算瓶颈),在实践中这几乎不会增加额外开销。
为说明这一点,我们手工推导单个线性层 WWW,并只关注内积 ⟨gθ(y),gθ⋆⟩\langle g_\theta(y),g^\star_\theta\rangle⟨gθ(y),gθ⋆⟩;其他层类型以及所需的批次梯度范数同理可得。
设 WWW 具有 dind_{\mathrm{in}}din 个输入维度和 doutd_{\mathrm{out}}dout 个输出维度,其中 b=1,…,Bb = 1, \ldots, Bb=1,…,B 索引 rollout 序列,t=1,…,Tt = 1, \ldots, Tt=1,…,T 索引 token。对于序列 bbb,AbA_bAb 是 T×dinT\times d_{\mathrm{in}}T×din 的输入激活矩阵,DbD_bDb 是 T×doutT\times d_{\mathrm{out}}T×dout 的矩阵,其元素为 logqθ(yb∣x)\log q_\theta(y_b \mid x)logqθ(yb∣x) 对该层输出的导数;单个权重梯度 gbg_bgb 和通常的批次求和权重梯度为:
gb=∇Wlogqθ(yb∣x)=Db⊤Ab,∇W∑b=1Blogqθ(yb∣x)=∑b=1BDb⊤Ab.\begin{aligned}g_b&=\nabla_W\log q_\theta(y_b\mid x)=D_b^\top A_b,\\ \nabla_W\sum_{b=1}^B\log q_\theta(y_b\mid x)&=\sum_{b=1}^B D_b^\top A_b.\end{aligned}gb∇Wb=1∑Blogqθ(yb∣x)=∇Wlogqθ(yb∣x)=Db⊤Ab,=b=1∑BDb⊤Ab.普通反向传播会收缩 token 轴和批次轴,留下一个以输入和输出特征为索引的矩阵。然而,根据线性性质,我们可以改为先收缩特征维度、最后收缩 token,从而每个序列只留下一个标量:
⟨gb,gθ⋆⟩F=⟨Db⊤Ab,gθ⋆⟩F=⟨Db,Ab(gθ⋆)⊤⟩F=∑t=1T⟨Db[t,:], (Ab(gθ⋆)⊤)[t,:]⟩.\begin{aligned}\langle g_b,g_\theta^\star\rangle_F&=\langle D_b^\top A_b,g_\theta^\star\rangle_F\\ &=\langle D_b,A_b(g_\theta^\star)^\top\rangle_F\\ &=\sum_{t=1}^T\left\langle D_b[t,:],\,(A_b(g_\theta^\star)^\top)[t,:]\right\rangle.\end{aligned}⟨gb,gθ⋆⟩F=⟨Db⊤Ab,gθ⋆⟩F=⟨Db,Ab(gθ⋆)⊤⟩F=t=1∑T⟨Db[t,:],(Ab(gθ⋆)⊤)[t,:]⟩.存储 gθ⋆g_\theta^\stargθ⋆ 需要一个权重规模的矩阵,因此包括其计算在内,总时间和层存储的渐近界与基础反向传播相同,仅有常数因子开销:
Normal backpropagationGradient alignment scoresTimeO(BTdindout)O(BTdindout)SpaceO (dindout+BT(din+dout))O (dindout+BT(din+dout))\begin{array}{lcc}&\text{Normal backpropagation}&\text{Gradient alignment scores}\\[6pt]\text{Time}&O(BT d_{\rm in}d_{\rm out})&O(BT d_{\rm in}d_{\rm out})\\[6pt]\text{Space}&O\!\left(d_{\rm in}d_{\rm out}+BT(d_{\rm in}+d_{\rm out})\right)&O\!\left(d_{\rm in}d_{\rm out}+BT(d_{\rm in}+d_{\rm out})\right)\end{array}TimeSpaceNormal backpropagationO(BTdindout)O(dindout+BT(din+dout))Gradient alignment scoresO(BTdindout)O(dindout+BT(din+dout))随后这些对齐分数被用于计算最终梯度,进行第二次标准反向传播,用现已计算出的余弦相似度对每个输入梯度批次元素进行缩放。
4 模型仍然会过拟合吗?
所有实验均在四数字 Countdown 上进行,使用 Qwen3-8B 作为基础模型,以在存在可验证奖励的环境中测试专家提供奖励的有效性。专家 rollout 由 Opus 5.5 生成。
在更大规模训练之前,我们首先使用单个提示和示范测试一个玩具示例。首先,我们问:在梯度对齐奖励上进行 RL 究竟能否拟合?其次,我们问:它是否会像 SFT 那样对确切措辞过拟合?正如泰勒近似解释所暗示的,我们预期它会。
在探究这些问题时,我们看到 (a) 准确率在 100 次更新内升至 100%,因此奖励是一致的,我们可以学习;(b) 到第 100 次更新时,全部 64 个样本完全相同(逐字复现专家解)(图 1)。
图 2
在单个提示和专家示范上优化梯度对齐奖励。存在一个初始学习阶段,模型捕捉到专家模式,但最终过拟合,使得所有 rollout 都与专家措辞完全一致。
这里的直觉是,“奖励”在学生对专家示范进行单步 SFT 之后,对每个 rollout 进行评分,这意味着我们预期示范的措辞会在奖励中体现出来。
5 那么梯度对齐信号有多大用处?
我们知道我们能够在这个信号上训练,但它与实际环境奖励的对齐程度如何?虽然我们不期望这是无噪声且完全相关的,但我们希望数值正确的答案对应更高的梯度对齐奖励。不幸的是,这种分离相当小,如图 2 所示。
图 3
梯度对齐的分布,分别显示正确答案和错误答案。曲线是使用高斯核的核密度估计(并非拟合的高斯分布)。值得注意的是,两个分布看起来都相当高斯,均值相似,正确答案的方差略高。
虽然两个分布在变化上可区分(因此更高的梯度对齐阈值将具有更高的正确率),但初始奖励结构使该奖励本身难以起步。剩下的问题是,它是否能在标准 RL 运行之上提供任何有意义的信号,而标准基线无法提供。
6 梯度对齐奖励的训练效果如何?
虽然与验证奖励的初始相关性相当小,但我们知道这些奖励是可训练的,并且可以期望通过训练过程,梯度对齐奖励会变得越来越有用。
为此,我们在一个较小的 Countdown 子集上比较以下方法:
1. 仅使用来自专家轨迹的梯度对齐奖励。如图 2 所示,仅靠该奖励噪声太大,无法在底层环境上带来可靠的收益。
2. 将梯度对齐与验证奖励结合使用,这是更常见的用例。一种方法是仅在验证奖励几乎无法提供信号时依赖梯度对齐奖励:
ri={cos(gi,gexpert),k<2,1[rollout i is correct],k≥2.r_i =\begin{cases}\cos(g_i,g_{\text{expert}}), & k<2 ,\\\mathbf{1}[\text{rollout }i\text{ is correct}], & k\ge2.\end{cases}ri={cos(gi,gexpert),1[rollout i is correct],k<2,k≥2.其中 kkk 是大小为 8 的组中正确 rollout 的数量。这带来了一些提升,但被以下方法超越:
3. 使用验证奖励的标准 GRPO(超参数与最佳梯度对齐运行相匹配),鉴于可以访问真实奖励,这并不令人意外,最后是:
4. 对 on-policy rollout 施加 KL 惩罚的 SFT。正如从几何解释中所预期的,梯度对齐奖励仍然可以表现得像 SFT 迭代,而让 SFT 步骤不受约束可以使优化更容易。
结果均展示在下面的表 1 中:
| 方法 | 验证准确率 | 正确 / 256 |
|---|---|---|
| 基础模型(更新 0) | 3.9% | 10 |
| 纯梯度对齐 | 3.5% | 9 |
| 梯度对齐 + 验证奖励 | 10.9% | 28 |
| 仅验证奖励 | 23.4% | 60 |
| SFT + KL 惩罚 | 20.3% | 52 |
表 1:在 Countdown 子集上的训练结果。评估来自 256 个留出提示。
7 结语
梯度对齐提供了一种在训练学生生成的回答时使用专家示范的方法。它的奖励随学生而变化,并允许算法完全在学生 rollout 上训练,为将知识灌输到学生模型的 on-policy 方法提供了前景。
然而,这种特定的奖励 (a) 仍然能够对特定示例过拟合,(b) 是对正确性的噪声估计,并且可能难以训练。值得注意的是,该奖励强烈依赖于参数,使得模型能够以更强的方式对其进行攻击。这些结果是初步的,我们在此不对梯度对齐奖励及其效用做出任何强有力的论断,但正如我们喜欢说的:伟大的想法通常更容易实现。
8 参考文献
1. M. Ren et al. Learning to Reweight Examples for Robust Deep Learning. PMLR 80:4334–4343, 2018.
2. S. Müller, A. Biedenkapp and F. Hutter. In-Loop Meta-Learning with Gradient-Alignment Reward. arXiv:2102.03275, 2021.
3. S. Li et al. LearnAlign: Data Selection for LLM Reinforcement Learning with Improved Gradient Alignment. arXiv:2506.11480, 2025.
4. Z. Liang et al. Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning. arXiv:2512.15687, 2025.
5. Z. Zhang et al. Grad2Reward: From Sparse Judgment to Dense Rewards for Improving Open-Ended LLM Reasoning. arXiv:2602.01791, 2026.
6. N. Yang et al. GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning. arXiv:2602.21492, 2026.
7. L. Zheng et al. Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards. arXiv:2609.03342, 2026.
8. S. Zhao et al. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models. arXiv:2601.18734, 2026.
9. I. Shenfeld et al. Self-Distillation Enables Continual Learning. arXiv:2601.19897, 2026.
引用本文
@article{baselabs2026-can-gradient-alignment-make-supervision-more-on-policy,
title = {Can gradient alignment make supervision on-policy? },
author = {Psenka, M. and O'Neill, C. and Kirkby, M.},
journal = {Base Labs},
year = {2026},
number = {009},
url = {https://labs.baseten.co/009},
}实验室相关内容
01on-policy 自蒸馏的偏差
研究·2026 年 11 月

02理解强化学习中价值函数的计算效率
研究·2026 年 10 月


03Mammoth-1 与 Elephant-1:前沿决策模型
Checkpoint·2026 年 10 月



