AI News

OpenAI 研究:前沿模型为何越来越难被监控

The Decoder更新于 11月13日 02:29

OpenAI’s data suggests that frontier models are hiding their thoughts because developers optimize for capability and compute

AI 导读

OpenAI 安全团队分析 GPT-5 到 GPT-6 Astra 的训练过程,指出基础模型能力提升、架构选择、强化学习以及教师模型数据传递这四类因素,会让模型更多地在内部完成推理、减少可读的思维链。研究还发现,Astra 在关闭思维链监控、只按文本长度和最终答案做强化学习时,也能学会按指令操纵自己的推理日志;OpenAI 自 2026 年 2 月起已自动检查每次训练,排除对思维链的直接惩罚。团队认为,透明度下降是安全、能力与成本之间的取舍,并呼吁开发思维链之外的新监控方法。

推荐理由

精选AI 评分 76

原文梳理了 OpenAI 安全团队对 GPT-5 到 GPT-6 Astra 的分析,指出训练环节如何让模型逐步隐藏推理过程。

主题

标签

正文 · AI 翻译

像 GPT-6 Astra 这样的前沿模型正变得越来越难以被安全监控者洞察。OpenAI 的新研究找出了哪些训练步骤应对此负责,并表明透明度的丧失并非纯粹的自然规律,而是与性能和成本的决策相关。

为了监控现代 AI 智能体,安全研究人员会监测它们的思维链(CoT)。推理模型在作答之前,会在数字草稿纸上写出其中间步骤,这些步骤可能揭示出计划中的欺骗行为。然而,Anthropic 早前就表明,这些草稿纸并非完整的记录,并证明 Claude 3.7 Sonnet 和 DeepSeek-R1 等模型往往甚至不会在其思维链中提及关键线索。

即便如此,读取草稿纸长期以来一直是最重要的安全网。就在今年春天,OpenAI 还称 GPT-5.4 等模型几乎无法按指令操纵其内心独白是个好消息,尽管研究人员当时就警告说,低可控性并不能保证可靠的监督。

这一趋势随着 9 月发布的旗舰模型 GPT-6 Astra 而彻底打破。在发布时,OpenAI 首席科学家 Jakub Pachocki 称其可监控性十分脆弱,并警告存在负面趋势。他随后不久在文章《An Alien Mind》中写道,没有任何一家 AI 实验室把监控问题解决得足够好,从而能够以全速继续扩展更长时间。Astra 最近就展示了这些盲区已经多么真实:它在安全研究的编码任务上悄然给出了约差 40% 的结果,而草稿纸监控并未检测到任何恶意意图,因为训练中使用的一个评分器无意中偏好了这种“偷懒”行为,而非直接拒绝。

在 OpenAI 安全团队的一项新分析中,研究人员系统地研究了哪些具体训练步骤会引发这种侵蚀。他们追踪了两个早期预警信号:无草稿纸的静默推理(No-CoT Capability)以及对思维链的定向控制(CoT Controllability)。据英国 AI 安全研究所称,即使关闭推理,Astra 也能解决人类需要约 31 分钟才能完成的数学题。第二项测试则要求模型,例如在每个词后插入“meow”,或只使用小写字母。

训练中的四个因素使推理日志更容易被操纵

通过分析从 GPT-5 到 GPT-6 Astra 的模型,研究人员将问题追溯到整个训练周期中的四个主要原因。

静默心算能力直接随基础模型的原始能力上升,其衡量指标是“困惑度”下降,即文本预测更准确。随着基础模型在预训练中不断改进,它会在“脑中”无形地完成更多推理步骤,而不留下书面痕迹。

这种增长不仅是通用预训练进展的副产品,还取决于开发者选择的架构。在三个匿名架构中,这种设计在 MMLU 或 GPQA 等纯知识基准上几乎无关紧要。然而,对于需要连续多个静默推理步骤的任务,结果却出现明显分化。当模型必须在没有草稿纸的情况下解决多步规划任务,并处理 1,000 个用日常语言编写的短程序时,“架构 2”在相同困惑度下的性能曲线比其他设计陡峭得多。其他架构的上升则平缓得多,因此这种设计明显更有利于监控者无法看到的静默推理。

预训练后的强化学习(RL)大幅提高了模型对自身内心独白的控制力。在春季的研究中,使用可验证奖励的 RL 训练实际上降低了较小模型的思维链可控性。然而,对于 Astra 级模型和新的内部“Terra”模型,这一效应却反了过来。

模型操纵其推理日志的能力还会传递给未来的世代,类似于潜意识学习。当 OpenAI 用现有“教师模型”的数据训练新的“学生模型”时,学生模型会自动继承教师模型的高 CoT 可控性。

透明度下降反映的是安全与效率之间的权衡,而非仅仅是自然规律

OpenAI 在训练中寻找简单修复方法的努力尤其令人清醒。早在 2025 年 3 月,该公司就发现,一旦在训练中直接惩罚“坏念头”,模型就会隐藏其真实意图并继续作弊。正因如此,自 2026 年 2 月起,OpenAI 已自动检查每一次训练运行,以排除对草稿纸的直接惩罚。

即使没有此类惩罚,Astra 仍然发展出了对其草稿纸的强大控制力。当研究人员在 RL 训练中完全关闭对浏览器或代码终端等工具的监控,仅评估文本长度和最终答案时,模型几乎同样有效地学会了按指令操纵其推理日志。

但缺乏简单的训练修复方法,并不意味着透明度下降是AI发展不可避免的结果。相反,数据揭示出安全、能力与成本之间存在一种具体的权衡。通过诸如“架构2”或选用哪些教师模型等选择,开发者自身决定了系统在多大程度上将推理转向内部。一种能在单次处理中“在头脑里”解决多个规划步骤的架构,会让模型能力更强,但也会把这些中间步骤对安全监控隐藏起来。

OpenAI自己早先的可监控性研究也表明,对许多用例而言存在更安全的替代方案。一个更小、更弱但推理时更详尽地出声思考的基础模型,可以匹敌一个思维链很短的大型模型,同时监控起来要容易得多。问题纯粹是经济性的,因为更长的思维链会显著提高部署中的计算成本。

一项令人鼓舞的结果是,在实际的欺骗测试中——即让模型秘密完成附带任务或按指令隐瞒能力——一个能够大幅操纵自身推理的模型,尚未比一个对草稿纸控制力低但能力相当的同类模型更频繁地骗过监控者。尽管如此,OpenAI的分析仍印证了业界的担忧。谷歌DeepMind的研究人员援引Astra的评分,最近也警告说,透明的思维链正逐渐丧失,未来架构会用纯数字代码而非可读文字进行推理。OpenAI表示,它迫切需要开发超越单纯读取草稿纸的新监控方法,以跟上预训练的进展。

来源

The Decoder