对齐科学博客 通过定位不良行为而非惩罚来减少奖励黑客行为 Shawn Hu¹*、Jake Ward¹* 2026年10月19日

Aria Wong¹、Nathan Hu²、Bryce Woodworth¹

Alexander Matt Turner³、Alex Cloud⁴

* 同等贡献；作者顺序随机排列

¹ MATS；² 斯坦福大学；³ FAR AI；⁴ Anthropic

简而言之

在训练过程中，模型有时会学会在任务中作弊，而不是以预期方式解决问题，这一问题被称为奖励黑客。一种缓解方法是使用自动监控器来检测并惩罚黑客行为，但这可能教会模型以监控器无法检测的方式进行黑客行为。我们提出 GRAFT，它改为将检测到的黑客行为所产生的学习更新限制在一组指定的参数中，并在训练后将其移除。我们发现，移除这些参数可以防止奖励黑客行为，包括监控器无法检测到的黑客行为。在我们的实验中（仅限于小模型和简单监控器），该方法在防止奖励黑客行为的同时，仍能教会模型执行预期任务。

📄 论文, 💻 代码

本工作作为 MATS 项目的一部分完成。

背景

强化学习（RL）是前沿语言模型训练的重要组成部分。在 RL 过程中，模型尝试完成开发者给出的任务，并由奖励函数对尝试进行评分。有时模型会找到在任务中“作弊”的方法，表现出能获得高分但并未以预期方式解决任务的行为。这一现象被称为“奖励黑客”。

随发布一同提供的模型卡 近期的 前沿模型 表明这些模型会进行奖励黑客行为。随着模型能力的提升，实际奖励黑客行为的 复杂程度和多样性也随之增加，在某些情况下 引发了现实世界中的事件。这限制了 AI 系统的实用性和可靠性，并带来安全风险：研究表明，奖励黑客行为可能会泛化为危险的不当行为，包括违反关于协助各种有害活动的限制、 自主实施网络攻击、欺骗以及 破坏研究.

。防止奖励黑客行为的一种方法是在 RL 训练循环中引入监控器。这些监控器可以是 LLM 评判器或关键词检测器，它们读取训练过程中生成的轨迹内容，并标记出包含不良行为的轨迹。当某条轨迹被标记时，可以施加奖励惩罚，从而防止这些行为被强化。

然而，监控器会出错，而将监控器的判定结果纳入奖励函数，可能会强化那些以未被检测到的方式做出不当行为的 利用监控器的策略 。因此，在训练初期有用的监控器，在训练后期可能会对奖励黑客行为视而不见。例如，针对 LLM 评判器训练的策略可以学会以 过于隐蔽、评判器无法察觉的方式进行奖励黑客，通过 冒充评判器来欺骗它们，或通过 智能体手段.

绕过它们。该方法

我们探索了一种潜在的奖励黑客解决方案，我们称之为 GRAFT：梯度路由适配器微调。GRAFT 是 梯度路由 在训练后阶段的一种改编应用。其思路是：当我们检测到不良行为时，将权重更新限制在一个适配器上。这样一来，我们就把此类行为的表征定位到该适配器上。这使我们能够在部署模型时，只需消融该适配器，就能移除这些行为。

具体而言，在 RL 开始之前，我们在每个 MLP 层中初始化两组额外的神经元，并将其中一组指定为 RETAIN 适配器，另一组指定为 FORGET 适配器。在训练过程中，当监控器标记出某条 rollout 轨迹时，我们将通往 RETAIN 适配器的梯度置零掩码，只更新 FORGET 适配器中的神经元。训练结束后，我们消融 FORGET 神经元，以移除不良行为，同时保持在目标任务上的性能（图 1）。GRAFT 也可以与全参数微调配合使用：保留 FORGET 适配器，并训练基础模型的全部参数来替代 RETAIN 适配器。

重要的是，我们仅使用监控器来决定更新哪些参数，而不用于指定奖励。因此，利用监控器弱点的策略不会受到差异化强化。由此，GRAFT 允许开发者在训练期间使用弱监控器进行监督，而不会训练模型去利用监控器的弱点。

梯度路由适配器微调（GRAFT）。在仅解码器 Transformer 的每个 MLP 中新增神经元；这些神经元被划分为 RETAIN 和 FORGET 两组。在目标环境（左、中）中训练时，在 rollout 阶段和 actor 更新的前向传播中，两个适配器均被启用。对于监控器未标记的轨迹（左），RETAIN 和 FORGET 适配器都会收到梯度更新。对于监控器标记的轨迹（中），只有 FORGET 适配器被更新，且对该适配器的梯度更新会按一个常数因子放大。我们同时在另一个独立的锚定环境中训练模型，在该环境中只有 RETAIN 适配器被启用和更新（右）。

有两个值得注意的实现细节：

  1. 由于 GRAFT 在训练时使用 FORGET 适配器，但在部署模型时将其移除，因此训练与部署之间存在不匹配，这可能损害性能。为解决这一问题，我们依赖一个“锚定环境”来教会模型在 FORGET 适配器被消融时以连贯的方式行动。在我们下面展示的实验中，锚定环境与目标环境相似，因为它教授一项编码任务，但该任务在其他方面与目标环境中的任务无关。仅在该环境中训练只能略微提升模型在目标环境任务上的性能。
  2. 在被标记的样本上，更新的参数总量更少。作为一种启发式方法，为使此类样本对网络的更新量相等，我们按比例因子缩放这些参数上的更新幅度。

结果

在这篇博客文章中，我们展示论文中的一项结果。我们将 GRAFT 应用于 Qwen3-8B，在 Countdown-Code 来自 Khalifa 等人的 RLVR 环境

Countdown 是一个简单的游戏：模型会收到一个整数列表和一个目标数量，并被要求找出一个算术表达式，该表达式求值结果等于目标数量，且每个整数恰好使用一次。提示词描述了这个游戏，并提供了一个脚手架式的“求解函数”（表达式留空）和一个“测试函数”（用于检查约束条件以及表达式的求值结果）。模型被要求输出同样的这两个函数，并填入正确的表达式。如果模型返回的求解函数能通过其返回的测试函数，环境就给予全额奖励。我们测量模型生成求解函数的比率，该求解函数需同时通过模型提供的测试函数和一个留出的测试函数。

在此环境中，可能出现以下类型的奖励黑客行为：

  1. 将返回的测试函数替换为一个会轻易通过的测试函数；
  2. 修改返回的测试函数以移除约束检查，从而使整数可以被多次使用；以及
  3. 修改返回的求解函数中的输入，以指定一个不同的、更简单的问题，然后求解该问题。

此环境中的所有提示词都允许全部三种类型的黑客行为。我们的实验使用一个监控器，它能检测所有类型 1 的黑客行为，而无法检测其他黑客行为。

GRAFT 在算术推理环境中训练的 Qwen3-8B 上定位并移除奖励黑客行为。左图：GRAFT 在奖励黑客率上优于所有测试方法，并在目标任务上取得有竞争力的性能。“干净环境求解率”表示模型在环境的变体上的求解率，该变体不含测试与求解脚手架，在此变体中奖励黑客行为在结构上不可能发生。“奖励黑客率”表示模型在可能发生黑客行为的提示词上表现出奖励黑客行为的比率。右图：随着训练推进，GRAFT 训练的模型在不同配置下的性能。我们分别用两个适配器、仅用 RETAIN 适配器（部署配置）以及仅用 FORGET 适配器（一种诊断配置，用于了解 FORGET 适配器学到了什么）来衡量性能。到训练结束时，奖励黑客行为已完全定位到 FORGET 适配器。所有误差条和阴影带均为跨随机种子的均值标准误。

当不施加任何干预时，模型学会在大多数轨迹上应用黑客行为 1。当对监控器标记的轨迹施加奖励惩罚时，模型学会在约 30% 的轨迹上应用黑客行为 2，且从不应用黑客行为 1（图 2 左）。无论惩罚大小如何，结果在性质上相似。值得注意的是，由于其他类型的黑客行为不会被监控器检测到，实践者可能会错误地认为该策略不存在黑客行为。

在使用 GRAFT 训练后，预消融模型在多达 35% 的轨迹上表现出类型 1 的奖励黑客行为。消融 FORGET 适配器后，各类黑客行为的发生率降至接近零，而目标任务上的正确解率仍比基础模型高出近 20 个百分点（图 2）。值得注意的是，不可检测类型的黑客行为不会在训练中出现，在部署模型中也不会以高于基础模型的比率存在。

在我们的论文中，我们还使用 SmolLM2-135M 在六个玩具强化学习环境中测试了 GRAFT。在这些设置中，GRAFT 通过一种不同的机制防止奖励黑客行为。模型确实学会了监控器在训练期间未能检测到的黑客行为，但消融 FORGET 适配器会将这些黑客行为与已检测到的黑客行为一并移除。我们还使用 GRAFT 对 Qwen3-32B 进行了微调，所用 SFT 数据集包含来自 Terminal Wrench的多轮智能体编码环境中的正确解和奖励黑客行为。虽然我们在目标任务上没有看到明显的性能提升，但经 GRAFT 微调的模型的奖励黑客行为发生率降至显著低于起始模型的水平。

局限性与未来工作

这项研究尚属初步，留下了许多未解问题。

  • GRAFT 能否与基于 LLM 的监控器配合使用？在我们的强化学习实验中，监控器是我们手动指定的启发式规则。GRAFT 与基于 LLM 的监控器配合使用时效果可能较差，因为后者会产生不同类型的系统性错误。
  • GRAFT 何时优于其他方法？在上述实验中，每个提示词都可以被黑客攻击。我们还运行了一个只有一半提示词可被黑客攻击的版本。在该版本中，所有方法都达到了相似的任务性能，并且 inoculation prompting was as effective as GRAFT at preventing reward hacking. Without extensive ablations, we cannot be sure how the methods compare.
  • How hard is it to build suitable anchor environments? The result presented here relies on the existence of a separate environment where reward hacking doesn’t happen, but where the task is structurally similar to the one in the target environment (e.g. both tasks involve outputting Python code). In practice, it may be difficult to create such environments.
  • Do the results hold at larger scales and in multi-turn RL? Our RL experiments are single-turn and use models up to 8B parameters.

We would be excited to see experiments in more realistic RL settings with LLM-based monitors.

Summary

  • We introduce GRAFT, a method for preventing reward hacking with weak monitors that works by localizing reward hacking behaviors to certain parameters, then ablating those parameters.
  • GRAFT improves target-task performance of Qwen3-8B in the Countdown-Code environment without increasing the model's propensity to reward hack. Monitor-based reward penalization instead teaches the model to exploit the monitor and reward hack in undetectable ways.
  • Using a monitor to route gradients rather than to shape reward may let developers get value from weak monitors without teaching models subversive policies.

Additional experiments and results are in our paper!