Goodfire 提出机制塑造框架，用内部表征约束模型训练

← 研究 /机制对齐系列 · 2026年11月5日

作者

Thomas Fel^*

Matthew Kowal^*

Matt Feiszli^*

Satchel Grant^*

Andrew Lee^*

Chris Earls^*

Fatih Dinc

Vasudev Shyam

Usha Bhalla

Leon Bergen

Siddharth Boppana

Ching Fang

Michael Byun

Tristan Gallent

Nicholas Wang

Tal Haklay

Dron Hazra

Neehar Kondapaneni

Connor Watts

Ryan Panwar

Thomas Dooms

Jack Merullo

Atticus Geiger

Ekdeep Singh Lubana

Thomas McGrath^†

Owen Lewis^†

^* 核心贡献者

^† 同等资深贡献

博客文章由 Satchel Grant 和 Michael Byun 撰写

发布于

2026年11月5日

完整论文

在 arXiv 上阅读 →

a. No change (Figure 7): the unwanted concept stays in place while the model stops using it.

b. Linear re-encoding (Figure 7): the unwanted concept moves to a new linear direction and the model uses it from there.

c. Nonlinear re-encoding (Figure 7): the unwanted concept becomes a nonlinear code that a linear probe cannot read.

d. Erasure (Figure 7): the model stops representing the unwanted concept at this layer.

如今我们训练 AI 模型的方式，是对正确答案给予奖励。但模型往往学到错误的经验，尽管在训练中得分很高：它们学会了 因错误的原因而正确。鉴于近期出现的奖励黑客事件，这个问题尤为重要，但它在更简单的情形中也会显现。

例如：想象你是一个被训练来诊断气胸的 AI 模型。你完全不知道那是什么。你看着带标签的图像，试图对它们进行分类，然后你意识到所有标记为“气胸”的图像里都有一根明显的管子。你很可能就会开始用这根管子来做判断。

问题在于，气胸是肺塌陷，而管子是在 确诊之后 才用于治疗的手段。作为具有常识的人类，我们能清楚地看到，根据医生是否已经治疗过来诊断某种病症并没有多大用处。如果我们把模型用于尚未接受治疗的 real 患者，它将会惨败。

但模型无论如何都会学会利用那根管子，因为训练过程并不涉及常识。

这是训练模型方式中的一个普遍问题：在任务上取得成功，并不能告诉我们模型是否 因正确的原因而正确。这种情况屡见不鲜：语言模型学会附和用户而非准确作答（谄媚），或者利用评分器而非解决实际问题（奖励黑客）。随着模型能力增强，它们可用的捷径可能变得更加复杂，也更难仅通过评估来发现。

但如果我们能在训练过程中注入一些智能呢？如果在训练时，我们能告诉模型“关注肺部的细微特征，但不要关注管子这类虚假特征”，那会怎样？那么我们的模型或许就能学到正确的经验。

这正是我们最新论文所做的——不仅针对胸部 X 光片，也针对 LLM 中的奖励黑客和谄媚行为。我们还研究了一个关键问题：这如何影响我们监控模型的能力？

引言

可解释性提供了一种 让训练目标更精确的语言。模型在内部表征诸如图像背景、胸腔引流管、与用户意见一致或在任务中作弊等概念。如果我们能识别这些概念并衡量模型对它们的依赖程度，那么在更改数据成本过高或无效时，我们就可以利用这些信息来指导训练。

我们的论文提出了一个 机制塑造: 框架，利用内部表征直接指定训练期间应依赖哪些概念、应表达哪些概念。 换言之，机制塑造指定了模型如何解决任务，而不仅仅是模型在训练中是否成功。我们将这些方法称为 依赖塑造 和 表达塑造；依赖塑造告诉模型“不要依赖这个”，表达塑造告诉模型“不要做这个”。

尽管可解释性对训练有用，¹ 但针对它进行训练可能会削弱我们的监控器：模型的表征可能会绕过监控器，而目标行为依然存在。² 我们论文的很大一部分研究了这一风险。我们从理论和实证两方面刻画了模型内部在机制塑造下可能发生的变化（例如重新生长、重新编码、转移位置、擦除），并展示了每种变化如何影响监控。虽然我们尚未覆盖所有情形和结果，但这里的结果令人鼓舞：在我们的实验中，概念在塑造后仍然可监控，尽管通常需要重新训练探针。

本博客文章概述了完整论文的部分关键贡献；更多结果可在论文中找到，例如额外的视觉实验和语言模型有害性降低。本文涵盖：

机制塑造框架： 我们提出了一个框架，利用内部表征通过改变模型对特定概念的依赖和表达程度，来指定模型如何解决任务。
改进视觉任务中的医学诊断： 我们展示了一个自动化流程，用于减少视觉模型对胸部 X 光图像中误导性捷径的依赖。该流程在该设置下可以超过组平衡数据的软上限准确率。
防止语言建模任务中的失准： 我们防止语言模型在后训练期间变得谄媚，并另外防止语言模型进行奖励黑客，同时在两种情况下都保持了能力提升。
衡量可监控性: 我们引入了一个五级分级体系，用于衡量概念在训练后是否以及如何被监控，并通过理论和实验刻画了机制塑造如何影响可监控性。

归根结底，我们做这项工作是因为我们迫切需要更好的方法来对齐模型。我们认为这些结果为实现这一目标开辟了一套有前景的工具和分析方法。

通过内部表征实现机制塑造

我们的论文提出了一个框架，利用特定的内部模型概念来修改训练目标。它包含两种通用方法：

依赖塑造 会惩罚模型在给定行为上对某个概念的依赖：“不要依赖这个。”
表达塑造 会惩罚模型表达该概念：“不要做这个。”

机制塑造 是通用框架，允许我们在训练目标中指定依赖惩罚或表达惩罚。从高层来看，该方法包括以下步骤：

使用可解释性工具找到不理想的模型概念。
添加一个损失惩罚项，以最小化该概念的表达或依赖，并训练模型。
- 可选地，每隔 n 步重新计算不理想概念的方向，以防表征在训练过程中发生偏移。
评估训练对该概念可监控性的影响。

Diagram of mechanistic shaping: a concept direction is computed at a chosen layer, and the model trains on its task loss plus a weighted penalty using that direction, which is periodically recomputed. — **图 1。** 机制塑造。在选定的层计算概念方向 vt\mathbf v_tvt。然后模型在其任务损失 R(θ)\mathcal R(\boldsymbol\theta)R(θ) 加上 λ\lambdaλ 乘以使用概念方向 vt\mathbf v_tvt 的惩罚项 ω\omegaω 上进行训练。表征在训练过程中会移动，因此会定期在当前模型上重新计算概念方向。

这里的“依赖”是指输出对表征的响应程度，用标准归因方法衡量。³ 这里的“表达”是指行为或表征中存在多少某个概念，可以通过代理指标来衡量，例如沿模型表征中某个方向的激活。⁴ 除了标准训练要求外，机制塑造只需要一个概念方向和一个可读取的层。

Heatmaps showing where each dog classifier looks under different shaping rules, such as using only the nose, or using the tongue if visible and otherwise the ears. — **图 2。** 机制塑造的示例说明。塑造可以指定为条件规则。热图显示每个分类器在识别狗时关注的位置。这些规则完全用模型自身的概念来编写，不需要额外标签。

作为一个小示例，我们在一个冻结的视觉模型之上训练了一个狗分类器，并使用机制塑造来指定不同类型的规则：仅使用鼻子对狗进行分类；如果有舌头则使用舌头对狗进行分类，否则使用耳朵。

教医学诊断模型不要使用混杂因素

让我们回到引言中的例子：我们如何教模型诊断肺塌陷，而不依赖诸如导管存在之类的混杂变量？

我们在一个真实胸部 X 光数据集上训练模型时应用了机制塑造。⁵ 这些图像根据患者是否有肺塌陷进行标注，但也包含一个捷径：胸腔引流管，它在 X 光片上清晰地显示为一根管子。如果模型学会了这个捷径而不是观察肺部本身，模型在训练中看起来准确，但会漏掉尚未接受治疗的患者。⁶

我们通过过滤数据集使捷径尽可能具有吸引力，只包含有胸腔引流管的肺塌陷图像和无引流管的健康肺图像；然后我们在其上训练了一个视觉模型。该模型看起来准确——它很好地学习了训练数据——但正如预期，在评估无引流管的肺塌陷时它失败了。

Sparse autoencoder features from a chest X-ray model, labeled and scored by an LLM agent; the top-scoring features highlight tube-like structures at many positions and orientations. — **图 3。** 一个 LLM 智能体标注稀疏自编码器特征并对其混杂因素进行评分。该智能体在许多位置和方向上找到了管状特征。

用 AI 智能体找到捷径。 在现实世界中，我们通常没有捷径的标签，因此我们没有使用数据集的胸腔引流管标签。相反，我们使用稀疏自编码器（SAE）将模型的内部表征分解为可解释特征，使用 LLM 智能体对哪些模型概念看起来像管子或引流管进行评分，并使用其首选结果进行依赖塑造。

Bar chart comparing the baseline, the best prior method, and reliance shaping on chest X-ray diagnosis, with a dashed line for training on balanced data; reliance shaping exceeds the dashed line. — **图 4。** 使用自动智能体概念方向的依赖塑造可以超过平衡数据训练的软上限。基线是在完全混杂数据上训练的模型；虚线是在平衡数据上训练的模型。柱状图是每个类别中表现最佳方法在三个随机种子上的性能均值。

我们将依赖塑造与软下限基线（在相同数据上的标准训练）以及几种先前方法中表现最佳者进行了比较，结果优于两者。值得注意的是，依赖塑造还超过了在平衡数据上训练模型的软上限！

为什么这项技术很重要？像胸腔引流管这样的捷径在训练数据中无处不在：背景、纹理、标注等。通常的修复方法是收集平衡数据，这往往昂贵或不可能。像依赖塑造这样的方法提供了一条有前景的新途径。

在数据过滤失败时防止 LLM 谄媚

模型受其训练数据塑造，而整理这些数据是塑造模型行为的关键杠杆。但一些不理想的模型行为在训练过程中出现，却没有明显的数据样本可以归咎。 Blank 等人（2026）发现，直接偏好优化（DPO）——一种对比好样本和坏样本的后训练程序——可以使模型变得更加谄媚，尽管不到 1% 的训练数据明显表现出谄媚。⁷ 由于几乎没有什么可以过滤，标准数据整理几乎不能减少谄媚。

然而，依赖塑造解决了这个问题！我们在模型内部找到了一个“谄媚方向”，并在 DPO 期间惩罚模型对该方向的依赖。通俗地说，模型仍然可以偏好某个回复而非另一个，只是不再因为谄媚而这样做。

Scatter plot of sycophancy against mean benchmark accuracy for OLMo-3-7B under different methods; reliance shaping reaches DPO-level accuracy while staying near the starting model's sycophancy. — **图 5。** 依赖塑造在保留 DPO 能力增益的同时，避免了其谄媚行为。图中展示了 OLMo-3-7B 的谄媚程度与该模型在六项基准上的平均准确率之间的关系。粗虚线表示“少做一点 DPO 训练”（降低学习率）。数据过滤使所得模型沿该线移动；奖励塑造和接种提示几乎不能减少谄媚。依赖塑造使用固定（实心）或重新拟合（空心）方向，达到 DPO 级别的能力，同时保持接近起始模型的谄媚水平。沿同一方向的预防性引导（PPS）能获得高能力，但减少谄媚的程度不如前者。

图中的虚线展示了最简单的权衡：少做一点 DPO 训练会产生一个谄媚更少但能力也更低的模型。好的方法应当位于该线下方，在保留 DPO 训练能力增益的同时避免谄媚。

我们的结果表明，不同类别的方法表现差异很大：

数据过滤 沿该线移动。它以能力换取谄媚的减少，与少做一点 DPO 相同。
奖励塑造 和 接种提示 几乎完全不能改变谄媚行为。
预防性引导使用与依赖塑造相同的谄媚方向，只能部分达到目标。
依赖塑造效果最佳。 在其最佳设置下，模型的能力与完整DPO相当，而谄媚程度仍接近起始模型。

该方法还具备可扩展性：相同的配方在7B、13B和32B模型上均有效。

偏好数据同时教会模型多件事：关于给出更好答案的一般性经验，以及一种倾向于同意用户的微妙偏差。通常，你无法只得到其一而不得其二，因为你无法通过过滤数据来消除这种偏差。依赖塑造解决了这个问题，让模型学习一般性经验的同时忽略这种偏差。

防止奖励黑客行为

我们的另一项实验聚焦于奖励黑客行为，这是一种常见且不受欢迎的行为。奖励黑客行为是指模型获得高奖励，不是通过以预期方式完成任务，而是通过利用其评分器或环境中的漏洞或歧义（例如在 Hugging Face 事件).

虽然前两组实验使用了依赖塑造，但我们的奖励黑客实验使用了表达塑造，因为我们想要塑造 模型做什么，而不是 模型如何做。表达塑造在训练目标中加入一个惩罚项，惩罚模型表达不受欢迎的概念。在奖励黑客行为的情况下，这与基于特征奖励的强化学习（RLFR）。

在本实验中，我们用强化学习训练了 Qwen3.5-9B，任务是 Countdown，一种算术谜题，模型会得到一组操作数（例如， 14, 3, 9）和一个目标数（例如， 33），并且必须找到一个能达到目标数的表达式（例如， 14 * 3 - 9 = 33).

我们将谜题改造成模型需要处理文件的任务。并且我们没有直接给出目标数，而是给出一个包含它的区间，让模型去猜它是什么。要获得最高分，需要在第一次尝试时就猜出答案。

这个设置有两种解法。诚实的方法是注意到答案总是提示中给出的区间的下界。但模型也可以通过打开 target.txt，这是一个包含答案的文件，模型被要求不得读取它。

我们在使用和不使用表达塑造的情况下训练了模型，得到如下结果。对于塑造，我们使用了一个“作弊”方向，该方向由在编码任务中作弊的转录文本计算得出。

Bar charts of honest solving and cheating rates at the end of Countdown training (left) and on unseen chess puzzles (right), for standard RL, filtering, and expression shaping. — **图6。** 表达塑造阻止了奖励黑客行为，并能泛化到新任务。左： Countdown训练结束时的行为。右：同一批模型在训练中未见过的国际象棋谜题上评估。带范围的标签涵盖最佳表达塑造变体；柱条显示每个范围中的最低值。

标准强化学习几乎立刻学会作弊。 在十次更新内，作弊行为上升约6倍，而诚实策略降至零。
表达塑造阻止了作弊行为：模型学会在96–98%的情况下诚实地解决谜题。
过滤掉作弊尝试并不能可靠地奏效。 一种朴素的做法——将作弊的 rollout 从训练中过滤掉——仅在三分之一的运行中阻止了作弊。
这一教训可推广到新任务。 在带有禁止解答文件的国际象棋谜题上（模型从未在此类数据上训练过），标准强化学习模型有99%的概率作弊。相比之下，表达塑造模型几乎不作弊，同时在新任务上仍表现出提升。

关键在于，表达塑造惩罚针对的是我们对模型 内部概念 作弊，而不是读取某个特定文件。这就是为什么它会延续到带有不同禁止文件的新任务上，而在那种任务中，关于 target.txt 将毫无作用。

对模型可监控性的影响

针对探针进行训练会破坏探针监控模型的能力吗？

这是一个重要的担忧。将可解释性用于模型训练可能会使我们失去监控模型概念的能力：它可能激励表征重新排列自身以规避探针，而不是真正调节所表征的底层概念。⁸

我们发现，针对探针进行训练可能会破坏探针，但这种退化结构通常是可预测的。当原始探针退化时，我们往往能够预判它会如何退化，以及如何训练新的探针来恢复信号。在我们所有的实验中，被训练针对的概念始终可监控，无论是用原始探针还是重新训练的探针。少数情况需要更具表达力或位于不同层的新探针。本节分为三部分：首先，我们提供一个精确的数学模型，说明在玩具模型中概念表征如何随训练变化。然后，我们提出一个五级可监控性分级体系，用于它会如何退化，以及如何训练新的探针来恢复信号。在我们所有的实验中，被训练针对的概念始终可监控，无论是用原始探针还是重新训练的探针。少数情况需要更具表达力或位于不同层的新探针。

本节分为三部分：

首先，我们提供了一个精确的数学模型，说明在玩具模型中概念表征如何随训练而变化。
随后，我们提出一个五级可监控性分级体系，用于理解探针如何退化以及如何恢复。
最后，我们将该理论的预测与我们在实践中观察到的结果进行比较。

机制塑造的分析理论

为了理解针对模型内部表征进行训练如何影响其表征，我们研究了一个微型模型，在该模型中我们可以从数学上精确计算出机制塑造的确切效果。我们表明，当使用机制塑造时，训练会对指定的概念方向施加压力，而模型可以通过几种方式作出响应。下图展示了模型可能如何响应这种压力的简化3D动画。

图7。 在每段动画中，我们希望模型使用的概念表征为绿色，不希望模型使用的概念表征为橙色，而模型实际用于做出决策的表征为黑色。红色✕标记了机制塑造所施加压力的方向轴。 a. 无变化。 模型并不使用这个不受欢迎的概念，但仍会在同一位置对它进行表征。在这种情况下，原始探针仍然会有效。 b. 线性重编码。 这一概念转向新的方向，模型从此开始使用它。原始探针会漏掉它，但新的线性探针会找到它。 c. 非线性重编码。 概念会转变为线性探针无法读取的形式，但非线性探针或后续层上的线性探针仍可能找到它。 d. 擦除。 模型在该层完全停止表征这一概念，因此那里没有任何探针能读取它。在某些情况下，模型可能会在更靠后的层重建这一概念。

为了更好地理解实际可能发生什么以及为什么会这样，我们研究了机制塑造最简单、最强的版本： 从模型的表征中完全删除（投影消除）某个概念方向 从模型的表征中。我们在此总结该理论的三个主要要点，但论文展示了更多内容：

概念表征会立即开始重新生长。 原始的概念方向得不到训练信号，但任务仍然奖励该概念的存在，因此一个新的概念方向会立即在其他地方开始生长。
重新生长出的表征可能会与期望的概念纠缠在一起。 不期望概念的新的表征会沿着模型用于该任务的方向生长，因此它可能与我们会希望模型用于决策的概念混杂在一起。频繁刷新可能会训练出该概念的非线性表征。反复刷新你用于塑造的概念方向（即重新拟合不想要的概念方向）会引发一场竞赛：一边是重新生长出新的线性概念方向，另一边是发展出非线性编码。最终，非线性编码可能在这场竞赛中胜出。然而，模型可以在更靠后的层再次以线性方式表征该概念，而非线性编码的类型需要一种希望模型用于决策的概念。
频繁刷新可以训练出该概念的非线性表征。 反复刷新你用于塑造的概念方向（即重新拟合不想要的概念方向）会引发一场竞赛：一边是重新生长出新的线性概念方向，另一边是发展出非线性编码。最终，非线性编码可能在这场竞赛中胜出。然而，模型可以在更靠后的层再次以线性方式表征该概念，而非线性编码的类型会呈现出一种可预测的形式：二阶乘积编码（图8）。

图8。 在训练过程中反复消融某个概念，可以将其推入乘积编码。 a. 在一个玩具模型中，每个输入数据示例都位于图形的底面上，带有两个概念输入值；底面上方的点显示了模型沿“乘积编码轴”的潜在活动，其颜色由不期望概念的输入值决定（绿色为负，橙色为正）。在训练过程中，潜在活动逐渐变得等于期望概念与不期望概念的乘积。 b. 因此，不期望概念的两个取值在潜在乘积编码轴上的平均活动相同，但它们朝相反方向倾斜，因此线性探针无法将它们区分开，而非线性探针可以。这看起来复杂，但我们完全理解其结构。受该理论启发，我们在下文介绍一种实用的可监控性方法。然后我们用实验检验该理论的预测。可监控性的五级分级体系我们还能监控模型吗因此，不期望概念的两个取值在潜在乘积编码轴上的平均活动相同，但它们朝相反方向倾斜，因此线性探针无法将它们区分开，而非线性探针可以。这看起来复杂，但我们完全理解其结构。

受该理论启发，我们在下文介绍一种实用的可监控性方法。随后，我们用实验检验该理论的预测。

可监控性的五级分级体系

在机制塑造之后，我们还能监控模型吗？ 正如理论所示，机制塑造会对模型表征中的不期望概念施加压力，表征也因此发生变化。其中一些变化可能破坏已有探针捕捉该不期望概念的能力。然而，理论同样表明，探针失效并不一定意味着该概念无法被监控，因为通常可以用一个新探针取而代之。

这引出了一个五级可监控性分级体系，每一级按照重新训练的探针相对原始探针需要改变的程度来排序。我们还标注了每一级对应图7中的哪个面板（将鼠标悬停或轻点面板字母即可查看其动画）：

可监控性的分级体系

级别	面板	有哪些变化，以及该怎么做
L1. 复用	(a)	原始探针仍然有效；复用它即可。
L2. 线性重拟合	(b)	概念表征已在别处重新生成，但仍可线性解码；训练一个新的线性探针即可。
L3. 非线性重拟合	(c)	概念表征不再可线性解码；训练一个新的非线性探针。
L4. 不同层	(c) 或概念表征已被迁移到不同的层；在不同层训练一个新探针。	概念表征已被迁移到不同的层；在不同层训练一个新探针。
L5. 不同模型	(c) 或 (d)	将塑造后的模型视为黑箱，仅使用塑造后模型的输入和输出，在其上运行一个单独的模型（例如，一个 LLM 评判器）。
概念擦除	(d)	该概念通过迁移到不同层或通过完全删除信息，从模型的表征中被抹除。前者对应 L4；后者不在该分级体系的范围内。

实证观察

在实践中我们发现了什么？在我们的谄媚实验中，正如理论所预测，紧邻依赖惩罚之前的层在训练期间变化最大。我们还看到，期望和不期望的概念方向变得纠缠在一起，在一些混杂的视觉实验中，余弦相似度高达约0.45。

机制塑造通常只是让概念转移位置，而非将其消除；并且在每个实验中，我们事后仍能监控该概念。要么原始探针仍然有效（L1），要么新探针恢复了信号（L2、L3 和 L4）。即使原始探针显著退化，这一结论依然成立：

实证探测结果

设置	塑造后的原始探针	重训线性探针
谄媚（L1/L2）	0.98 → 0.93 AUROC	训练全程 AUROC 为 1.00
奖励黑客（L2）	0.98 → 0.57 平衡准确率*	0.97–0.98 平衡准确率

* 最坏情况下，训练期间梯度流经探针。其他变体保留了原始探针，奖励黑客的平衡准确率为 0.87–0.90。

在一些混杂的视觉实验中，反复移除中间层上该概念的线性形式（并频繁重新拟合其方向），结果该层上只剩下该概念的非线性形式（L3）。然而，在两层之后，该概念又可以线性读取了（L4；图9）。

Plot showing that after repeated removal of the linear form of the undesired concept, only a nonlinear form remains at that layer, while later layers recover a linear form. — **图9。** 反复移除不期望概念的线性形式，会导致模型转而使用非线性表征。然而，后续的模型层又会恢复该概念的线性形式。

在一些应用了末层依赖惩罚的类似实验中，该概念在该层被部分擦除，而理论并未预测到这一点。然而，该概念在更早的层中仍可恢复，并且我们在其他任何实验中都没有看到这一结果。

总结：针对模型内部表征进行训练可能会破坏我们的监控器，但当探针失效时，相关概念通常只是转移了位置，而非消失。我们的理论和实验总体上揭示了它会转移到哪里、为何转移，以及哪些探针能够再次找到它；我们相信，理论的持续发展将使其对现实场景更具预测力。虽然我们尚未消除性能退化的风险，但我们现在对需要警惕什么以及如何维持可监控性有了更好的理解。

更多关于可监控性的讨论和结果，请参阅完整论文。

展望未来

我们的结果表明，机制塑造在小到中等规模上跨模态和训练范式都有效：混杂视觉、医学影像、DPO 后训练和奖励黑客，仅举几例。在其中若干设置中，仅靠行为目标是不够的。机制塑造是应对对齐核心问题之一的工具：明确指定 模型如何解决任务，而不仅仅是它是否解决了任务。 模型如何解决任务，而不仅仅是它是否解决了任务。是否它确实有效。

然而，针对可解释性信号进行训练需要谨慎：由此产生的压力既不是均匀的，默认情况下也不是良性的。针对可解释性信号进行训练确实会改变表征；概念可以被线性或非线性地重新编码，并且它们可以转移到其他层。但在我们进行的每一次实验中，目标概念始终是可监控的，而且在大多数情况下，我们的理论有助于解释其表征是如何以及为何发生变化的。

许多问题仍悬而未决：例如，对所有可能的神经编码的精确理解、更深网络的解析解，以及对前沿规模训练运行的完整理解。我们尚未回答关于可监控性的所有问题，而且我们的实验仅涵盖小到中等规模的设置。但我们相信，这一研究方向如今已具备更清晰的问题和方法，并展现出重大前景；我们认为，持续开展旨在将这些方法真正投入实用的研究——包括在前沿规模上——对AI安全与对齐至关重要。总体而言，我们将其视为迈向从内部有意设计模型内部，而不是寄希望于正确的结果会自动带来正确的理由。

关于理论、证明、更多实验以及完整的实验细节，请参阅完整论文.