AI News

热点事件

Base Labs研究梯度对齐奖励能否实现在线策略监督

2 篇正式报道2 条事件动态更新于 11月14日 08:24

先了解这件事

AI 综述

2026年11月14日,Baseten Base Labs发表研究,探讨梯度对齐奖励能否让监督信号变成on-policy。该研究提出,用学生rollout与专家示范的对数似然梯度余弦相似度作为奖励,理论上兼具on-policy强化学习与SFT的通用性。研究同时指出,该奖励仍会像SFT一样偏向专家示例的具体措辞,并受蒸馏的诸多挑战限制。实现上,研究借助张量技巧把完整奖励计算压缩到约两次标准反向传播,成本主要在trainer侧。目前尚无后续进展。

AI 根据公开报道生成

最新进展 · 正式报道

梯度对齐奖励能否让监督变成 on-policy?

事件进展

1 个已确认进展

  1. Base Labs研究梯度对齐奖励能否实现在线策略监督

    来源:Baseten Base Labs:模型研究

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月14日

  1. Baseten Base Labs:模型研究一手

    梯度对齐奖励能否让监督变成 on-policy?

    Baseten Base Labs 探讨梯度对齐奖励能否让监督信号变成 on-policy:用学生 rollout 与专家示范的 log-likelihood 梯度余弦相似度作为奖励,理论上兼具 on-policy RL 与 SFT 的通用性。作者指出该奖励仍会像 SFT 一样偏向专家示例的具体措辞,并受蒸馏的诸多挑战限制。实现上通过张量技巧把完整奖励计算压缩到约两次标准反向传播,成本主要在 trainer 侧。

  2. Baseten Base Labs:模型研究一手

    梯度对齐奖励能否让监督变成 on-policy?

    Baseten Base Labs 探讨梯度对齐奖励能否让监督信号实现 on-policy:用学生 rollout 与专家示范的对数似然梯度余弦相似度作为奖励,理论上兼具 on-policy RL 与 SFT 的通用性。作者指出该奖励仍会像 SFT 一样偏向专家示范的具体措辞,并受蒸馏的诸多挑战限制;借助张量技巧,完整奖励可在约两次标准反向传播内高效算出。

关联事件

  1. 相关事件Thinking Machines Lab介绍Inkling 2 Small端到端4比特训练配方
  2. 相关事件Ai2联合多机构发布XYBench基准测试
  3. 相关事件Zyphra提出稀疏注意力方法ZHA
  4. 相关事件Apple提出面向实时iOS应用的在线强化学习UI导航框架