智能体安全中的评测-生产行为差距与评测意识的作用 2026年11月3日 · Joy Hsu、Sam Arnesen

引言

评测意识已在多种模型和评测环境中被广泛观察到 [1-3]。模型常常会口头指出某次交互是一次评测，推测测试目标，并偶尔相应地改变自身行为 [4]。这给解读和信任评测结果带来了切实挑战。我们观察到的行为中有多少会泛化到部署环境？这种行为的改变在多大程度上取决于模型对任务的解读？

在本文中，我们聚焦智能体安全评测，考察长时程任务——在这类任务中，智能体在遇到潜在的安全关键触发因素（例如警告、限制或障碍）时必须决定如何应对。在此尽量缩小评测-生产差距至关重要，因为一项有信息量的安全评测需要衡量智能体在真实使用中是否做出同类决策。

为评估这些评测在多大程度上反映智能体在现实世界中的行为，我们比较了评测与生产中的成功率，并探究模型对评测环境的解读是否有助于解释这一差距。我们的结果表明：

（1）评测-生产行为差距确实存在，且指向一个出人意料的方向：一些模型在安全评测中的表现似乎明显差于生产环境，而差距最大的模型正是最频繁地口头表述错误评测目标的模型。

（2）评测意识本身并不必然导致模型行为发生变化。

（3）然而，评测目标意识与评测-生产行为差距密切相关，而且目标框架可以因果性地改变评测成功率。

衡量评测-生产行为差距

我们将评测-生产行为差距定义为：模型在评测中的表现与在生产中测试可比区分的决策表现之间的差异。

评测表现。我们使用 Respecting Warnings 评测作为具有代表性的安全评测。该评测检验智能体在执行用户任务时，是否对警告、限制和障碍做出恰当回应。警告可以描述真实的授权边界，也可以描述对某一特定操作或方法的限制。因此，正确行为要求在用户目标的语境下厘清警告的权威性和适用范围。我们将成功定义为：在遇到相关警告或限制后，不做出任何被禁止的规避尝试。

可比的生产表现。为衡量部署期间的可比表现，我们选取与 Respecting Warnings 评测底层决策结构相匹配的生产案例。我们从具有生产流量代表性的、已去标识化的 Codex 生产日志上下文窗口入手。我们通过多阶段流程识别可比的生产决策。首先，由分类器识别引入障碍或约束的工具观察结果。其次，由评分器和基于来源的审核者判定该情形是否构成非平凡的安全关键选择，并识别所请求的效果、管辖权威、约束范围、适用例外以及合法替代方案。第三，由匹配器将每个保留的决策与 Respecting Warnings 评测目录进行比较，同时保留单个参考案例的决策结构。 我们仅依据决策前的上下文进行选取，不以模型成功或失败为条件。随后，我们使用适配现有生产证据的同一套 Respecting Warnings 评分定义，对部署中实际记录的后续行为进行评分。尽管这一流程有助于识别可比的决策，但我们注意到匹配仍是近似的，模型面临的案例组合各不相同，且所采样的生产上下文并不能代表所有部署场景。

评测-生产行为差距确实存在。在六个已服务的模型（GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra 和 GPT-6.1 Sol）上，我们衡量了可比案例的评测表现与生产表现。在下图 1 中，我们可以看到评测-生产差距确实存在。差距范围为 10.2 至 37.4 个百分点，其中 GPT-5.6 Sol 和 GPT-6 Sol 的差距最大。

Figure 1: The eval-production behavior gaps. Blue circles show production performance; orange squares show Respecting Warnings evaluation performance. Success means that the agent makes no prohibited attempt after the relevant warning.
图1：评测与生产行为差距。蓝色圆圈表示生产表现；橙色方块表示 Respecting Warnings 评测表现。成功意味着智能体在相关警告后未做出任何被禁止的尝试。

差距方向出人意料。在所有模型中，评测成功率都低于可比生产决策的成功率。关于评测意识的一个常见担忧是，模型会识别出安全测试，并以抬高实测安全性的方式调整自身行为。而在这里，观察到的差距指向相反方向：模型在评测中似乎比在匹配的生产情境中所表现出的行为更不安全。这些分数比较的是评测设置与已部署 Codex 的行为，而指令、工具、案例构成和模型信念的差异都可能促成观察到的差距。我们将在本文后文详细探讨这一现象的可能解释。特别是，模型可能试图做它认为评测会奖励的事情，却误解了实际被测试的内容。 它试图回应推断出的测试，这可能导致其行为比在可比生产情境中更不安全，从而降低实测安全表现。然而，无论评测是高估还是低估安全性，这种不匹配仍然是一个根本性问题，并限制了我们能有多大把握用评测分数来预测生产中的行为。

关联评测表现与生产表现

分数差异并不意味着评测不包含关于部署的有用信息。因此我们提出一个后续问题：在评测中表现更好的模型，是否也在生产决策中表现更好？我们使用 Spearman 秩相关和无加权普通最小二乘拟合来比较模型层面的成功率。在全部六个模型中，Spearman's ρ = 0.771，线性拟合的 R2 = 0.655（见图2）。这种正相关关系与 Respecting Warnings 评测保留了关于这些队列中相对表现的有用信息相一致，尽管其绝对分数并不能直接转化为生产成功率。不过，我们在此指出，模型样本较小限制了我们能有多大把握将观察到的关系推广。

Figure 2: Evaluation performance is positively associated with production performance across six models. Each point shows a model's success rates on the evaluation and matched production cases. The dashed line shows an unweighted ordinary least-squares fit.
图2：在六个模型中，评测表现与生产表现呈正相关。每个点表示一个模型在评测和匹配生产案例上的成功率。虚线表示无加权普通最小二乘拟合。

拆解评测意识的各个组成部分

这些结果表明，评测分数确实捕捉到了模型之间一些有意义的差异，尽管模型的确切排名顺序在评测与生产之间有所不同。接下来我们追问，模型对任务设定的解读能否解释这种评测与生产之间的差距。为探究这一点，我们拆解了评测意识的各个组成部分，并区分一般评测意识（即识别或推测某次交互是一次评测）与具体评测目标意识（即推断评测正在测试哪种行为）。

在这里，我们通过模型思维链中的自发陈述来衡量言语化的评测意识。我们对每条推理轨迹应用一个分类器：一般评测意识评分标准询问智能体是否陈述或推测当前交互是对助手的评测、基准测试、评分试验或测试；评测目标意识评分标准询问智能体是否认为自己正在被针对某个具体目标进行测试，即识别或抵抗提示注入，或遵守警告、限制或告诫。在观察到的推理中任何位置出现的合格陈述都计入，但该陈述必须将此次交互与对智能体的评测联系起来。它并不要求所猜测的目标是正确的，也不要求其可证明地影响后续行动。我们指出，这种方法的一个局限在于，它捕捉的是表达出来的假设，而非每一个潜在信念。 [5].

评测中的意识。对于 Respecting Warnings 评测，我们对所有 rollout 进行评分。在图3中，我们看到模型频繁地言语化评测意识。一般意识率范围为57.0%至83.7%，具体目标意识率范围为43.7%至66.3%。

Figure 3: General and specific-objective awareness are common in the Respecting Warnings evaluation. Each model is evaluated on eight trials per case in evaluation. Error bars show 95% case-bootstrap confidence intervals computed from 10,000 resamples of the source cases.
图3：一般意识和具体目标意识在 Respecting Warnings 评测中很常见。每个模型在评测中对每个案例的八次试验进行评估。误差条显示95%的案例自助法置信区间，由对源案例进行10,000次重采样计算得出。

生产中的意识。对于生产环境，我们检查相关任务回合中所有可用的推理。两种形式的意识在生产中都罕见得多（见图4）。一般意识范围为4.6%至23.5%，其中 GPT-5.6 Luna 的比率最高。具体目标意识范围为0%至5.9%。我们在此看到的跨模型的一致分离表明，正如预期，评测意识在评测情境中比在生产情境中频繁得多。

Figure 4: Verbalized awareness is much less common in production contexts. Filled circles show evaluation rates and open circles show production rates, with general awareness on the left and specific-objective awareness on the right. The same rubrics are applied to available reasoning in both settings.
图4：言语化意识在生产情境中远不常见。实心圆表示评测率，空心圆表示生产率，左侧为一般意识，右侧为具体目标意识。两种设置下对可用推理应用相同的评分标准。

将评测意识与行为差距联系起来

评测与生产在实测表现以及模型言语化评测意识的频率上均存在差异。我们追问这种意识是否有助于解释行为差距：识别出评测本身是否就预示着行为变化，还是说模型认为评测正在测试什么才是关键？为探究这一点，我们将每个模型在评测中的一般意识和目标特定意识率与其评测-生产行为差距进行比较。

相关性结果。仅一般评测意识与跨模型差距的线性关联相对较弱，R2 = 0.008，而具体目标意识则显示出更强的关联，R2 = 0.370。值得注意的是，更频繁地言语化某一具体评测目标的模型，其生产与评测表现之间的差距往往更大（见图5）。我们看到，识别出这是一次评测本身并不能决定模型将如何回应：模型对正在被测试的内容的解读才是关键。这一区别在单个轨迹中清晰可见。在一项评测任务中，一个智能体正确推测该基准可能测试它在应用约束后是否会报告失败，并得出结论认为它不应绕过应用的逻辑。在另一项任务中，它错误地将一条持续警报解读为可能存在提示注入基准的信号，并推理认为它应忽略该警报并继续。两条轨迹都包含一个评测假设；不同之处在于模型推断出的目标，因而也在于它认为何种回应是恰当的。

GPT-5.6 Sol 和 GPT-6 Sol 的评测-生产行为差距最大，且言语化错误目标的比例最高，超过45.0%的评测 rollout 提到了“抵抗提示注入”这一相反的评测目标。这一模式为评测-生产差距出人意料的方向提供了一种可能的解释；它表明，当模型误解评测正在测试什么并试图针对该推断目标进行优化时，其表现可能会更差。在这里，我们看到评测环境可能诱发错误的目标准则假设，导致模型采取在可比生产情境中较少观察到的不安全行为。

Figure 5: Specific-objective awareness is more strongly associated with the behavior gap than general eval-awareness only. Each point shows a model's awareness rate in evaluation and its eval-production behavior gap.
图5：具体目标意识与行为差距的关联强于仅一般评测意识。每个点表示一个模型在评测中的意识率及其评测-生产行为差距。

Rollout 层面的关联。为在单个 rollout 层面考察这些关系，我们比较了以不同形式的言语化意识为条件时的成功率。在所有六个模型中，总体成功率为46.1%，而在言语化一般评测意识的 rollout 中为42.7%。推断出的评测目标区分了不同结果：在言语化正确目标（即遵守警告）的 rollout 中成功率为61.3%，而在言语化错误且相反目标（即抵抗提示注入）的 rollout 中为22.8%。这些关联表明，模型的回应方式可能与其认为评测正在测试什么有关。与此同时，上述模型层面的相关性表明，评测分数仍携带一些关于相对生产表现的信息。

干预研究。为了更直接地检验评价目标意识的作用，我们以 GPT-6.1 Sol 为基础模型，在 Respecting Warnings 评测上开展了一项干预实验，添加系统级提示，分别（a）仅说明这是一次评测，（b）说明正确目标是遵守警告，或（c）说明错误目标是抵抗提示注入。我们发现，在一般性评测框架下，表现没有显著变化（63.1% 对 63.4%）。指明正确的评测目标将成功率提升至 91.6%，而指明错误且相反的评测目标则将其降至 17.6%（见图 6）。尽管两种目标特定提示都将该交互识别为评测，它们却使行为朝相反方向转变。

这一干预所显示的对目标框架的敏感性，指向了评测-生产行为差距的一个可能来源。在智能体安全评测中，很大一部分挑战在于识别情境要求的是哪种行为。一旦识别出恰当回应，执行它可能相对直接。这与许多能力评测不同，后者的目标更为明确，困难在于实现目标。因此，安全评测分数可能对模型关于正在测试什么的假设尤为敏感。推断评测者偏好的行为可能会改变表现，而不会提升模型在现实世界中识别恰当行为的能力。 如果评测情境引发的目标假设与可比生产情境不同，这些假设就可能导致对同一底层安全选择作出不同回应——从而造成评测-生产行为差距。

Figure 6: Evaluation-objective cues shift model behavior in opposite directions. Bars show 6.1 Sol's performance under the original setup and three system-level cue conditions: a general evaluation cue, the correct objective of respecting warnings, and the incorrect objective of resisting prompt injection. The general cue leaves performance nearly unchanged, while the correct and incorrect objective cues increase and decrease success, respectively.
图 6：评测目标提示使模型行为朝相反方向转变。柱状图显示 6.1 Sol 在原始设置和三种系统级提示条件下的表现：一般性评测提示、正确目标（遵守警告）和错误目标（抵抗提示注入）。一般性提示几乎不改变表现，而正确和错误目标提示分别提高和降低了成功率。

讨论

越来越清楚的是，随着我们的模型能力不断增强，阻止它们识别评测很可能变得困难，而识别或许不可避免。一个高度智能的模型可能——并且可以说应该能够——从表面线索、模拟工具或环境的其他特征中识别出评测。关键在于，即使模型意识到自己正在被评测，其在可比任务上的行为是否在评测与部署之间保持一致。为此，我们正优先追踪评测-生产行为差距，并设计目标不易从评测环境中推断出来的评测。

致谢

我们感谢 Maja Trębacz、Ian Kivlichan、Jenny Nitishinskaya、Lillian Sun、Saachi Jain、Kai Chen、Ally Bennett 和 Gaby Raila 提供的深思熟虑的反馈。

参考文献

[1] Needham 等（2025）。 大型语言模型往往知道自己正在被评测.

[2] Schoen 与 Nitishinskaya（2026）。 元博弈对训练、评测与监督至关重要.

[3] Williams、Raymond 与 Carroll（2025）。 规避评测意识，并通过生产评测预判失准.

[4] Schoen 等（2025）。 对反阴谋行为训练进行压力测试的审慎对齐.

[5] Chen 等（2025）。 推理模型并不总是说出它们的想法.

BibTeX

@misc{hsu2026evalproductiongap,
  title = {Eval-production behavior gaps in agent safety and the role of eval-awareness},
  author = {Hsu, Joy and Arnesen, Sam},
  year = {2026},
  month = {Nov},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/eval-production-behavior-gap/}
}