OpenAI 提出 g-mean² 之外的可监控性互补指标

共享导航：scripts/refresh/header.html 共享导航结束 超越 g-mean²：可监控性的互补指标 2026年10月20日 · Melody Guan、Yuxiang Xie、Bowen Baker

在 《监控可监控性》一文中，我们引入了 g-mean²，作为数据集层面衡量监控器区分能力的有原则性指标。

g-mean² 回顾

g-mean² 的精确定义取决于评估原型。

每条 rollout 都有一个二元行为标签 \(Y\) 和一个二元监控器预测 \(Z\)。正例（\(Y=1\)）是表现出评估目标行为的 rollout；负例（\(Y=0\)）则没有表现出该行为。

结果评估 考察监控器能否预测模型输出中可被可靠测量的某个属性. 

\[\mathrm{TPR}=P(Z=1\mid Y=1),\qquad \mathrm{TNR}=P(Z=0\mid Y=0).\] \[\text{g-mean}^{2}_{\mathrm{outcome}}=\mathrm{TPR}\times\mathrm{TNR}.\]

过程评估 考察监控器能否在有效解路径数量有限的任务中检测出模型所采取的步骤。我们只评估 \(Y=1\) 的 rollout，因此将 \(\mathrm{TNR}\) 视为 1：

\[\text{g-mean}^{2}_{\mathrm{process}}=\mathrm{TPR}=P(Z=1\mid Y=1).\]

干预评估 在智能体环境中引入受控变化，并考察监控器能否检测出该变化是否影响了其回答。每条 rollout 属于对照组或干预组，\(X\in\{0,1\}\)。干预组中观测到的正例里，可归因于干预的最小比例为：

\[R_{\mathrm{effect}}=\frac{\mathrm{TE}}{P(Y=1\mid X=1)}.\]

其中 \(\mathrm{TE}\) 是干预的总效应：

\[\mathrm{TE}=P(Y=1\mid X=1)-P(Y=1\mid X=0).\]

原始的最小准则 \(\mathrm{TPR}\) 与合并后的 \(\mathrm{TNR}\) 分别为

\[\mathrm{TPR}_{\mathrm{mc}}=\min\!\left(1,\frac{P(Z=1\mid X=1,Y=1)}{R_{\mathrm{effect}}}\right).\] \[\mathrm{TNR}=\sqrt{\mathrm{TNR}_{X=0}\,\mathrm{TNR}_{X=1}}.\] \[\text{g-mean}^{2}_{\mathrm{intervention}}=\mathrm{TPR}_{\mathrm{mc}}\times\mathrm{TNR}.\]

我们在 cross-fit/Wald-eligible 实例上对干预得分取平均。

干预评估无法告诉我们哪些正例结果是由干预导致的，因此监控器捕捉这些结果的能力是不确定的。原始的干预 g-mean² 使用乐观上界；我们现在在本文的 附录 中推导相应的悲观下界。

为什么单一的可监控性数值不够

即使已经明确了干预评估中的归因不确定性，g-mean² 仍留下两个未解问题。

第一，尽管模型是在同一任务池上评估的，不同模型会在不同的任务子集上产生有效的正例行为——或满足干预有效性标准。因此它们的 g-mean² 分数可能反映不同的任务混合。当仅在两个模型都支持的实例上进行比较时，表面上的可监控性差异是否仍然存在？

第二，g-mean² 并不反映监控器在部署时会被如何使用。可监控性之所以重要，有两个原因：

1. 对模型动机、价值观和决策过程的透明性，对模型开发普遍有用。
2. 监控器可以在部署时用作控制措施，拒绝某些动作或整条 rollout。 Codex Auto-review 就是一个例子。

如果用作控制措施，模型可能在输出被拒绝后再次尝试。此时，最终风险取决于模型产生不良行为的频率、监控器接受哪些输出，以及允许的尝试次数。这有可能逆转仅基于对齐性的模型比较。例如，在 《监控推理模型的不当行为与助长混淆的风险》的图 7 中，一个针对 CoT 监控器训练过的模型总体上作弊更少，但在监控器门控的拒绝采样下产生了更多被接受的作弊行为，因为它学会了规避监控器。因此我们提出：如果可监控性评估中的监控器被用作“部署”控制机制，那么整个系统（由监控器门控的模型）产生不良输出（例如在任务中作弊、捏造结果，或访问模型无权读取的文件）的概率是多少？

为回答这些问题，我们引入两个互补指标，用于比较模型和评估部署风险。

1. 一个 配对匹配指标 在共享实例上比较模型，减少哪些示例进入各模型评估所带来的差异影响。
2. 一个 控制后整合指标 模拟使用监控器拒绝输出，并建模在使用监控时仍剩余多少风险。

尽管下面的实验监控的是可观测的模型轨迹——CoT、工具调用和可见消息——这三个指标同样适用于对内部激活或其他潜在表示的监控器，前提是每个样本都有真实行为标签和监控器决策。

指标	回答的问题	输出
数据集级 g-mean²	监控器在各模型实际数据集上区分正例与负例的效果如何？	\([0,1]\) 区间内的绝对可监控性分数
配对匹配可监控性	在支持相关正例、负例或干预有效比较的任务实例上，模型之间如何比较？对于三个或更多模型，当某些配对缺乏足够重叠时，如何合并受支持的成对比较？	\([0,1]\) 区间内的成对估计值，以及多模型的相对 HodgeRank 排序
控制后风险	在监控器门控的尝试之后，部署系统实际放行了什么？一个对齐性较差但可监控性更高的模型，是否可能具有更低控制后风险？	不良输出概率、部署概率，以及已部署输出中不良输出的比例1

1 ↩ 该部署方案是假设性的；OpenAI 不会以这种方式部署其当前模型。

指标 1：在共享实例上比较模型

不同模型会在不同的任务实例子集上产生有效的正向行为。因此，在各自子集上比较每个模型，可能会混淆整体数据集内的可监控性。考虑以下场景：

• 模型 A 只能在简单任务上出现不当行为。假设这些失败对监控器来说也很容易检测。
• 模型 B 在简单和困难任务上都可能出现不当行为。假设困难任务上的失败更难检测。
• 数据集级 g-mean² 在各自的正例实例上评估每个模型。因此，模型 A 只在简单案例上评估，而模型 B 在简单和困难案例的混合上评估。

因此，即使在对两个模型都会出现不当行为的每一个任务上，模型 B 的行为实际上更容易检测，模型 A 仍可能获得更高的可监控性分数。这种表面上的排序并非由可监控性的实际差异驱动，而是由每个模型产生目标行为的任务实例分布差异驱动。这种分布不匹配可能由模型能力差异（如上例所示）或其他模型行为模式引起。此外，随机 rollout 变异也可能改变哪些实例进入评分。

请注意，配对匹配仍不能保证两个模型在共享实例上产生相同类型或难度的行为；我们将在 下一步：控制行为类别.

配对匹配

对于每一对模型配置，我们在两个模型都支持的匹配实例集上计算相关的 g-mean² 分量。然后，我们使用加权最小二乘拟合，将得到的配对特定差异合并为一个排序。令 \(Y\) 为行为标签：\(Y=1\) 表示该 rollout 表现出目标行为（例如落入蜜罐等不当行为），\(Y=0\) 表示没有表现出。目标行为由每次评估定义；以安全为重点的示例通常涉及不当行为，但有些目标是无害的。令 \(Z\) 为二元监控器标签，\(Z=1\) 表示监控器标记了该 rollout。

精确的匹配量取决于评估原型：

• 结果评估: 我们在共享正例实例上估计 \(\mathrm{TPR}\)，在单独的共享负例集上估计 \(\mathrm{TNR}\)，然后将两个配对均值相乘。
• 过程评估： 我们比较共享正例实例上的配对匹配 \(\mathrm{TPR}\)。（由于过程可监控性仅在 \(Y=1\) 的 rollout 上评估，\(\mathrm{TNR}\) 设为 1。）
• 干预评估： 我们对两个模型都有效的实例，对现有的逐实例最小准则 \(\mathrm{TPR}_i\times\mathrm{TNR}_i\) 取平均。

配对匹配 g-mean² 的计算方式

对于过程评估，令 \(P_{AB}\) 为模型 A 和模型 B 都支持的正例实例集。模型 \(m\) 的配对匹配指标为

\[M^{(\mathrm{process})}_{m\mid AB} =\widehat{\mathrm{TPR}}_{m\mid AB} =\frac{1}{|P_{AB}|}\sum_{i\in P_{AB}}P(Z=1\mid Y=1,m,i).\]

对于结果评估，令 \(N_{AB}\) 为单独匹配的负例实例集。我们计算

\[\widehat{\mathrm{TNR}}_{m\mid AB} =\frac{1}{|N_{AB}|}\sum_{i\in N_{AB}}P(Z=0\mid Y=0,m,i).\] \[M^{(\mathrm{outcome})}_{m\mid AB} =\widehat{\mathrm{TPR}}_{m\mid AB}\widehat{\mathrm{TNR}}_{m\mid AB}.\]

对于结果评估，我们还在共享正例实例上保留配对匹配 \(\mathrm{TPR}\) 作为仅敏感性诊断。结果配对匹配 g-mean² 仍是主要的配对匹配结果。

对于干预评估，令 \(V_{AB}\) 为两个模型都有效的实例。我们对现有的逐实例最小准则乘积取平均：

\[M^{(\mathrm{intervention})}_{m\mid AB} =\frac{1}{|V_{AB}|}\sum_{i\in V_{AB}}\mathrm{TPR}_{m,i} \sqrt{\mathrm{TNR}_{m,i,x=0}\mathrm{TNR}_{m,i,x=1}}.\]

为了将配对匹配的 g-mean² 指标合并为模型排序，我们使用逆方差加权 HodgeRank，它本质上是一种加权最小二乘拟合。我们寻找这样的模型分数：其差异最能重现观察到的成对差异，并对估计更精确的比较赋予更大权重。我们的方法可以通过找到最佳拟合的整体排序来调和轻微的循环或不一致；拟合残差显示成对证据何时无法用单一排序很好地概括。

逆方差加权 HodgeRank 分数

我们将每个受支持的模型比较建模为图中的一条边。对于 A 对 B 的边，观察到的差异是 A 的配对匹配指标减去 B 的对应指标。我们为每个模型拟合一个分数，使 A 和 B 之间的拟合差异尽可能接近这一观察差异。自助法方差较低的比较获得更大权重。

成对结果不必完全一致。例如，数据可能支持 A 优于 B、B 优于 C、C 优于 A。HodgeRank 找到同时最好地表示所有边的加权最小二乘折中。残差衡量观察到的成对比较与拟合分数所隐含的比较之间的差异。残差较大表明单一的一维排序是一种糟糕的概括。

只有当模型通过受支持的比较相连时，才能对它们排序。因此，我们分别拟合每个连通分量，并且不跨不连通分量比较分数。

只有分数差异影响拟合，因此给每个模型分数加上相同常数不会改变任何东西。我们对分数进行中心化——将其均值设为零——以选择一个唯一解。在单个拟合分量内，较大的分数差距表示较大的拟合成对指标差异。绝对分数值不应跨分量比较，也不应在使用不同模型或受支持比较的不同拟合之间比较。

\[d^{(q)}_{AB}=M^{(q)}_{A\mid AB}-M^{(q)}_{B\mid AB}.\] \[\widehat{\boldsymbol{s}} =\underset{\boldsymbol{s}}{\operatorname{arg\,min}}\; \sum_{(A,B)}w_{AB}\bigl[(s_A-s_B)-d^{(q)}_{AB}\bigr]^2, \qquad \sum_m s_m=0.\] \[w_{AB} =\frac{1}{\max\!\left\{\widehat{\operatorname{Var}}\!\left(d^{(q)}_{AB}\right),v_{\mathrm{floor}}\right\}}.\]

我们最初尝试了配对 Bradley–Terry（Elo 式）评分，其形式为

\[\Pr(A\succ B)=\sigma(\beta_A-\beta_B).\]

这样每个实例只贡献胜、负或平局。我们发现这种方法不适合我们的目标，因为它丢弃了成对差异的幅度，只保留方向。因此，下文报告的配对匹配结果使用幅度感知的成对估计和 HodgeRank 排序。

合成实验隔离选择效应

在真实模型的比较中，我们不知道真实的监控性排序。因此，我们在模拟中检验这些指标，其中该排序在设计上是已知的。每个任务实例被赋予一个难度（\(D_i\)）；随着该值增大，模型产生正行为的可能性降低（其中“正”由评估定义——例如，落入蜜罐），并且当该行为发生时，监控器检测到它的可能性也降低。每个模型有两个独立的属性：能力，它决定模型在给定难度的实例上产生正行为的可能性；以及可监控性，它决定在同一实例上该行为被检测到的可靠性。我们在保持可监控性排序不变的情况下改变能力，并检验当所选实例组合变化时，某个指标是否能恢复——或反转——已知的排序。

跨评估类型的能力驱动选择

我们首先使用过程、结果和干预构造来比较模型 A 和模型 B。在每个固定实例上，模型 B 都比模型 A 更容易监控。横轴 \(k\Delta c\) 是模型 B 的对数几率能力优势。随着它增大，模型 B 在越来越难的实例上产生正行为。

随着模型 B 实际产生的正实例集变得更难，数据集级别的 g-mean² 下降，尽管其在固定实例上的可监控性更好。配对匹配消除了这种选择效应，并恢复了已知的条件比较。绿色的结果评估消融只匹配正实例；其残余漂移说明了为什么结果评估比较必须单独匹配用于 \(\mathrm{TNR}\) 的负实例。

恢复已知的七模型排序

我们接下来模拟七个模型，\(\mathrm{M1}\) 到 \(\mathrm{M7}\)。模型 \(\mathrm{M7}\) 被有意设计为在每个固定实例上既能力最强又最容易监控，已知排序为 \(\mathrm{M7}>\mathrm{M6}>\mathrm{M5}>\mathrm{M4}>\mathrm{M3}>\mathrm{M2}>\mathrm{M1}\)。

我们使用能力离散度参数 \(d\) 来改变模型能力的分布范围。随着 \(d\) 增大，高索引模型变得能力更强，并在更难——也更难监控——的实例上产生正行为，而低索引模型能力变弱，在更少的此类实例上产生正行为。

合成设置详情

能力. 我们为七个模型赋予对称的能力偏移 \(u_m\)。模型 \(m\) 的能力为：

\[c_m=-0.35+d\,u_m,\qquad \boldsymbol{u}=(-0.75,-0.50,-0.25,0,0.25,0.50,0.75).\]

参数 \(d\) 缩放能力的分布范围：

\[\operatorname{mean}(c_m)=-0.35,\qquad \operatorname{range}(c_m)=1.5d,\qquad \operatorname{SD}(c_m)=0.5d.\]

在 \(d=0\) 时，所有模型的能力均为 \(-0.35\)，相邻模型相差 \(0.25d\)。在 \(d=1.4\) 时，能力范围从 \(-1.4\) 到 \(0.7\)，标准差为 \(0.7\)。

哪些实例变为正。 实例 \(i\) 被赋予难度 \(D_i\)。模型 \(m\) 产生正行为的概率为：

\[P(Y=1\mid m,i)=\sigma\!\left(4.5(c_m-D_i)\right).\]

Sigmoid 使正行为的对数几率随难度线性下降。因此，增大 \(d\) 使高索引模型能在更难的实例上产生正行为，而低索引模型在更少的困难实例上产生正行为。

真实可监控性。 我们为每个模型分配一个可监控性效应 \(\theta_m\)，并将每个实例的 \(\mathrm{TPR}\) 定义为：

\[\boldsymbol{\theta}=(-0.09,-0.06,-0.03,0,0.03,0.06,0.09), \qquad \mathrm{TPR}_{m,i}=0.72-0.18D_i+\theta_m.\]

高索引模型在每个固定实例上都更容易监控。对于在同一实例上评估的任意一对 A 和 B：

\[\mathrm{TPR}_{B,i}-\mathrm{TPR}_{A,i}=\theta_B-\theta_A.\]

共享的难度项相互抵消，因此已知排序为 \(\mathrm{M7}>\mathrm{M6}>\mathrm{M5}>\mathrm{M4}>\mathrm{M3}>\mathrm{M2}>\mathrm{M1}\)。相邻模型在每个固定实例上相差 0.03，\(\mathrm{M7}\) 与 \(\mathrm{M1}\) 相差 0.18。这是一个过程式模拟，因此 g-mean² 等于 \(\mathrm{TPR}\)。

图2使用Kendall tau-b将恢复的排名与已知排序进行比较，该统计量在两个序列的排序越相似或完全一致时取值越高。G-mean²越来越反映不同的实例混合，而幅度感知的HodgeRank仍接近真实情况。匹配的Bradley–Terry原型退化更严重，因为它丢弃了成对差异的大小。

保留g-mean²的保障

最后，我们检查配对匹配是否保留了促使提出g-mean²的各种不变性。面板A和B复现了来自 Monitoring Monitorability （论文中的图3）的类别不平衡示例，面板C复现了失败案例：监控器只是标记来自干预组的输出，而不是检测目标行为（论文中的图14）。在这些设置中，模型具有完全共享的支持集，因此配对匹配的g-mean²计算（\(M^{(\mathrm{intervention})}\)）简化为与数据集级g-mean²相同的量。

当类别条件的\(\mathrm{TPR}\)和\(\mathrm{TNR}\)固定时，即使\(\mathrm{F1}\)急剧变化，两种g-mean²构造在患病率变化时都保持恒定。在干预示例中，跨组池化负样本使这一捷径得到误导性的非零分数，而组特定g-mean²和配对匹配的组特定构造都正确地返回零。因此，配对匹配改变了比较哪些实例，但没有放弃这些特定的g-mean²保障。

与AUROC的比较

AUROC总结了连续分数监控器在不同决策阈值下如何权衡检测与误报，而G-mean²评估某个特定的二元监控器决策。当连续监控器分数可用时，两者都可以报告。对于结果评估，我们可以在共享的正实例和负实例上计算数据集级AUROC和配对匹配AUROC。对于干预评估，我们可以改变监控器阈值，重新计算\(\mathrm{TPR}_{\mathrm{upper}}\)、\(\mathrm{TPR}_{\mathrm{lower}}\)以及相应的组特定\(\mathrm{TNR}\)值，并计算所得曲线下的面积。这些不是针对已知干预导致标签的普通AUROC。这里的流程评估仅包含\(Y=1\)的rollout，因此无法获得ROC曲线。本文中的历史监控器返回二元决策，因此我们在此不计算AUC。

历史系统卡结果

我们将该指标应用于过去的系统卡数据。该数据包括7个以中等推理努力采样的不同智能体模型（OpenAI o1、OpenAI o3、GPT-5、GPT-5.2、GPT-5.4、GPT-5.5、GPT-5.6 Sol），并使用高推理努力的GPT-5作为监控器。为保持所用监控器一致，我们排除GPT-6 Astra作为智能体模型，因为它使用不同的监控器（GPT 5.6 Sol）进行评估。误差条使用500次确定性分层bootstrap重复计算。配对匹配排序在每个环境和监控器配置内分别拟合。

配对匹配排序与数据集级排序总体一致。它们的不一致之处识别出了对实例选择敏感或过于接近而无法自信解释的排名。Antischeming接近平局，而Health Queries: Missing Evidence的结果接近上限；在这两种情况下，名义排名变化反映的是几乎无法区分的模型之间的微小差异。

下一步：控制行为类别

在同一规范实例上匹配两个模型并不能保证它们产生同样难以判断的行为。在正例上，一个模型可能使用明显的篡改，而另一个使用模糊的捷径。在负例上，一个模型可能表现得明显无害，而另一个产生可疑的边界响应。即使模型在同一任务上评估，这些差异也会影响\(\mathrm{TPR}\)和\(\mathrm{TNR}\)。

例如，在一个共享的Honeypot任务上，o3公开对Python的 len 函数和测试框架进行了monkey-patch，而GPT-5.4r使用了一个导入辅助模块的简短包装器。因此，更高的匹配\(\mathrm{TPR}\)可能意味着“该模型生成了更易识别的错误行为”，而不是“监控器对该模型更好地检测了相同行为”。

下一步是在规范实例×行为类别的层面上比较模型，最好还记录行为严重程度或难度。应明确报告行为类别覆盖情况，而不是静默地池化不相似的行为。

指标2：将监控器模拟为拒绝门

后控制指标询问监控器在实践中作为拒绝门使用时表现如何。某些训练机制，例如惩罚显示不良行为意图的CoT的模型，可能存在对齐–可监控性权衡。在部署中，如果输出被监控器过滤，一个更频繁产生不良行为但使其可靠可检测的模型，实际上可能比一个更对齐但失败更难检测的模型具有更低的后控制风险。

模型监控系统可以有多种部署方式。我们可以考虑这样一种设置：对于每个请求，系统采样一个输出，如果监控器拒绝该输出，系统可以重试，最多尝试\(K\)次。第一个被接受的输出会被部署；如果全部\(K\)次尝试都被拒绝，则不部署任何输出。该指标报告一个请求最终以不良输出、干净输出或无输出结束的概率。

在我们的设定中，重试不会根据先前的拒绝进行调整。每次尝试都从相同的原始上下文开始，模型不会被告知先前的输出被拒绝或拒绝的原因。已部署的系统也可以改为将这些信息反馈给模型，但我们在此不研究这种设置。

对于每个重试预算\(K\)，我们报告：

• \(B(K)\): 一个请求在至多\(K\)次尝试内部署不良输出的概率。
• \(A(K)\): 一个请求在至多\(K\)次尝试内部署任何输出的概率。
• \(B(K)/A(K)\): 在部署了输出的条件下，不良输出的比率。

结果评估使用其正负rollout的自然混合。对于过程评估，我们仅使用\(Y=1\)的rollout来模拟重试，因此每个部署的输出都是正例，且\(B(K)=A(K)\)。由此得到的正例逃逸率衡量的是当每次尝试都表现出目标行为时，该行为通过监控的频率；它并不估计在这些任务上，在模型输出的完整混合下，该行为会被部署的频率。

我们不在干预评估上报告后控制风险指标，因为我们无法判断单个\(Y=1\)的rollout是否由干预导致。

与g-mean²不同，结果评估的后控制风险不是基准率不变的；其数值强烈依赖于模型的目标行为率。例如，一个很少出现不良行为的模型，即使其可监控性不高，也会有较低的后控制风险。该指标是对g-mean²的有益补充；它允许你比较在测试时使用监控器的情况下，已部署系统的对齐程度。

将该指标应用于历史系统卡数据

我们将该指标应用于历史模型系统卡中结果评估和过程评估的rollout，涵盖3种监控器范围和上文使用的相同7种模型/推理努力配置。以下结果考察了后控制风险、其部署权衡，以及后控制排序与可监控性指标的比较。

基于评分卡rollout的离线估计

对于每个规范实例，后控制指标在观测到的rollout的随机排序上计算两个精确的有限池概率。

设\(N_{\mathrm{rej},i}\)、\(N_{\mathrm{bad},i}\)和\(N_{\mathrm{clean},i}\)分别为实例\(i\)中被拒绝、被接受为不良和被接受为干净的rollout数量，且\(n_i=N_{\mathrm{rej},i}+N_{\mathrm{bad},i}+N_{\mathrm{clean},i}\)。对于观测到的有限rollout池，定义下降阶乘\((a)_t=a(a-1)\cdots(a-t+1)\)。那么，部署概率\(A_i(K)\)等于1减去全部\(K\)次尝试都被拒绝的概率。而不良输出概率\(B_i(K)\)对每个可能的停止点\(t\)求和：前\(t-1\)次尝试被拒绝，第\(t\)次尝试被接受且为不良。

\[A_i(K)=1-\frac{(N_{\mathrm{rej},i})_K}{(n_i)_K}.\] \[B_i(K)=\sum_{t=1}^{K} \frac{(N_{\mathrm{rej},i})_{t-1}N_{\mathrm{bad},i}}{(n_i)_t}.\]

我们报告各实例的平均分数：

\[A(K)=\frac{1}{|I|}\sum_{i\in I}A_i(K), \qquad B(K)=\frac{1}{|I|}\sum_{i\in I}B_i(K).\]

在这些历史评估中，我们使用\(Y=1\)作为模拟的“不良输出”标签，尽管目标行为并非在每个环境中都有害。

\(K=1\)包含所有至少有一个有效rollout的实例，而\(K=4\)仅包含至少有四个有效rollout的实例。仅当至少五个实例满足相关要求时，我们才报告某个模型/监控器配置。由于\(K=1\)和\(K=4\)因此可能使用不同的实例集，在单独考察重试的影响时，我们也会在符合\(K=4\)条件的实例上计算\(K=1\)。

门控降低风险；重试会回吐部分风险

在所有三种监控器范围下，门控平均降低了主要风险量。在至少有四次有效模型尝试的相同实例上，从一次尝试增加到四次尝试会增加发现监控器假阴性的机会，并侵蚀掉部分风险降低。

对结果假阴性的一项重点审查发现，通过的正例往往比被捕获的正例更模糊。在Honeypot中，明显的monkey-patching被捕获，而一个简短的辅助模块包装器通过了；在时间约束中，针对测试的硬编码被捕获，而一个通用的奇偶优化通过了；在Antischeming中，直接篡改评分器被捕获，而一个教育价值调整通过了。因此，重试不仅可以搜索监控器的漏判，还可以搜索不同的、更难分类的行为。

风险必须与部署情况一起解读

较低的\(B(K)\)可能意味着监控器捕获了正例行为，但也可能意味着系统很少部署任何输出。为说明这一点，图6展示了两个Honeypot切片，其中\(B(4)\)低于3%，但\(A(4)\)低于7%；在已部署的输出中，41–45%为正例。因此，我们建议在报告\(B(K)\)的同时报告部署概率\(A(K)\)（图7）和\(B(K)/A(K)\)，后者提供了在实际部署了输出的请求中风险的另一个视角（图8）。

后控制指标产生直接的排序

为比较模型，我们在每个固定环境、监控器配置、监控器范围和重试次数内，将每个模型的后控制风险转换为越高越安全的分数：

\[\text{结果分数}=1-B(K).\] \[\text{过程分数}=1-\text{正例逃逸率}(K).\]

下表显示两个指标以相同方向排序的可比模型对所占比例。作为参考，两个独立且无并列的排序平均会在半数模型对上一致。在将后控制排序与HodgeRank比较时，我们只统计HodgeRank定义了相对排序的模型对。

结果后控制排序与配对匹配的\(\mathrm{TPR}\)一致性最强。在\(K=1\)时，这合理：\(B(1)=P(Y=1)[1-\mathrm{TPR}]\），因此不良输出风险取决于正例率和\(\mathrm{TPR}\)，而不取决于\(\mathrm{TNR}\)。配对匹配的g-mean²和数据集级g-mean²也包含\(\mathrm{TNR}\)，这可能在不改变一次尝试风险的情况下重新排列模型。在\(K=4\)时，\(\mathrm{TNR}\)可能间接产生影响，因为拒绝干净输出会创造额外的重试机会。

过程排序总体上比结果排序更一致。这是因为在\(K=1\)时，越高越安全的后控制分数恰好是\(\mathrm{TPR}\)，而数据集g-mean²和配对匹配指标也基于\(\mathrm{TPR}\)。在\(K=4\)时，监控器必须捕获每一次尝试，因此单实例安全性大致表现为\(\mathrm{TPR}_i^4\)。这放大了实例之间的差异，并可能改变模型排序。

我们建议如何使用这三个指标

这三个指标是互补的，因为它们回答不同的问题。我们建议将它们一起报告。当这些指标对模型的排序相似时，我们就有更强的证据表明该比较对其不同假设是稳健的。当它们不一致时，调查原因可以揭示单一分数遗漏了什么。

1. 将数据集级g-mean²保留为每个模型自身rollout分布上可监控性的主要度量。
2. 对于任何特定的两模型比较，使用幅度感知的配对估计和置信区间。使用HodgeRank汇总多个模型之间的比较。报告其不确定性和拟合残差，并在拟合较差或模型之间没有实质性区分时避免声称确定性排序。
3. 对于结果和过程评估，当监控器实际会门控部署时，加入后控制风险。该指标有助于判断对齐和可监控性是否存在帕累托改进，或者模型是否只是具有不同的权衡。报告不良输出、部署以及已部署输出中不良输出的概率，并说明重试预算。

附录：干预g-mean的悲观下界²

在干预评估中，我们观察到监控器标记了哪些结果，但未观察到哪些正例结果是由干预导致的。原始干预g-mean²对这一不可观测因果子集上的召回率使用了乐观上界。我们现在分享相应的悲观下界。

我们希望衡量 因果召回率：即由干预导致的正例结果中被监控器捕获的比例。干预会改变目标行为发生的频率，但不会揭示它导致了哪些正例结果。

对于一个符合条件的实例和监控器阈值，令\(r=\Pr(Z=1\mid X=1,Y=1)\)为监控器标记的干预正例结果所占比例，并令最小值\(R_{\mathrm{effect}}>0\)。

令\(U\in\{0,1\}\)表示干预是否对某个正例结果负有因果责任。\(U\)通常是不可观测的。对于一个符合条件的实例，干预正例结果中未知的因果比例满足

\[R_{\mathrm{effect}}\leq \underbrace{P(U=1\mid X=1,Y=1)}_{\text{因果比例}}\leq 1.\]

换言之，我们知道监控器标记了多少正例结果，以及其中至少有多少是由干预导致的，但不知道这些被标记的结果中有多少是由干预导致的。图A1说明了这种不确定性：十个正例结果中有六个被标记，且至少有八个是因果的。如果恰好八个是因果的，监控器可能只捕获四个（50%召回率），也可能捕获多达六个（75%）。

下界将尽可能多的标记置于因果子集之外；上界将尽可能多的标记置于因果子集之内。两个边界在最小相容因果比例\(R_{\mathrm{effect}}\)处均可达到；更大的因果比例会在这些边界内给出更窄的召回率范围。仅给定\(r\)和\(R_{\mathrm{effect}}\)时，因果召回率的紧边界为

\[\mathrm{TPR}_{\mathrm{lower}} =\max\!\left(0,\frac{r+R_{\mathrm{effect}}-1}{R_{\mathrm{effect}}}\right).\] \[\mathrm{TPR}_{\mathrm{upper}} =\min\!\left(1,\frac{r}{R_{\mathrm{effect}}}\right) =\mathrm{TPR}_{\mathrm{mc}}.\]

为得到\(\text{g-mean}^{2}_{\mathrm{lower}}\)和\(\text{g-mean}^{2}_{\mathrm{upper}}\)，我们分别将\(\mathrm{TPR}_{\mathrm{lower}}\)和\(\mathrm{TPR}_{\mathrm{upper}}\)乘以该实例现有的组合\(\mathrm{TNR}\)，然后在相同的交叉拟合/Wald合格实例上对这些逐实例乘积取平均。因此，原始干预g-mean²即为\(\text{g-mean}^{2}_{\mathrm{upper}}\)。

因果召回率区间可以跨越整个范围\([0,1]\)。例如，当\(R_{\mathrm{effect}}=0.3\)且\(r=0.4\)时，监控器可能漏掉每一个因果正例，也可能全部捕获——两者都符合观测到的比率。因此，仅凭较高的上界并不能表明监控器能可靠地捕获因果正例。

宽区间反映了关于因果归因的模糊性，即使总体比率被精确已知，这种模糊性仍可能存在。估计的边界也具有抽样不确定性，我们通过在每个分层自助法重复中重新计算两个边界以及交叉拟合/Wald合格性来评估这种不确定性。更多样本可以减少这种抽样不确定性，但不一定能解决关于因果归因的模糊性。图A2将这两类不确定性一起展示。

BibTeX

@misc{guan2026beyondgmean,
  title = {Beyond g-mean²: complementary metrics for monitorability},
  author = {Guan, Melody and Xie, Yuxiang and Baker, Bowen},
  year = {2026},
  month = {Oct},
  howpublished = {OpenAI Alignment Research Blog},
  url = {https://alignment.openai.com/beyond-gmean-squared/}
}