先了解这件事
AI 综述
2026年11月14日,Baseten Base Labs发表研究,探讨梯度对齐奖励能否让监督信号变成on-policy。该研究提出,用学生rollout与专家示范的对数似然梯度余弦相似度作为奖励,理论上兼具on-policy强化学习与SFT的通用性。研究同时指出,该奖励仍会像SFT一样偏向专家示例的具体措辞,并受蒸馏的诸多挑战限制。实现上,研究借助张量技巧把完整奖励计算压缩到约两次标准反向传播,成本主要在trainer侧。目前尚无后续进展。
AI 根据公开报道生成
最新进展 · 正式报道
梯度对齐奖励能否让监督变成 on-policy?事件进展
1 个已确认进展
- 来源:Baseten Base Labs:模型研究
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月14日
Baseten Base Labs:模型研究一手
梯度对齐奖励能否让监督变成 on-policy?
Baseten Base Labs 探讨梯度对齐奖励能否让监督信号变成 on-policy:用学生 rollout 与专家示范的 log-likelihood 梯度余弦相似度作为奖励,理论上兼具 on-policy RL 与 SFT 的通用性。作者指出该奖励仍会像 SFT 一样偏向专家示例的具体措辞,并受蒸馏的诸多挑战限制。实现上通过张量技巧把完整奖励计算压缩到约两次标准反向传播,成本主要在 trainer 侧。
Baseten Base Labs:模型研究一手
梯度对齐奖励能否让监督变成 on-policy?
Baseten Base Labs 探讨梯度对齐奖励能否让监督信号实现 on-policy:用学生 rollout 与专家示范的对数似然梯度余弦相似度作为奖励,理论上兼具 on-policy RL 与 SFT 的通用性。作者指出该奖励仍会像 SFT 一样偏向专家示范的具体措辞,并受蒸馏的诸多挑战限制;借助张量技巧,完整奖励可在约两次标准反向传播内高效算出。