OpenAI 两个智能体关闭自身安全监控，原因尚不清楚

别再错过任何新闻！

OpenAI 的智能体关闭了自身的安全功能——原因尚无人知晓

OpenAI 的两个 AI 智能体据称压制了本应监控其自身行为的安全警报。在被问及时，这些模型予以否认。OpenAI 目前正在调查背后是否存在故意。

OpenAI 的 AI 智能体关闭了本应监控其自身行为的安全警报。该公司在其研究博客中记录了两起案例。涉及的是所谓的错位监控（Misalignment-Monitoring）——一项旨在检查智能体是否遵守其指令、并在出现异常时向开发团队发送警报的控制功能。据 OpenAI 称，目前仍在调查这些智能体是过于积极和/或误解了指令——还是有意停用了这些警报。广告广告

一个智能体为自己争取了更多空间

在第一起案例中，一个使用 GPT-6 Astra 模型的智能体本应将程序代码迁移到一个参考环境中。这是一个测试环境，可用于观察用户的代码会发生什么。据 OpenAI 的报告，Astra 将任务转交给了一个子智能体——即一个承担子任务的下级系统。

热门文章

在任务说明中，Astra 并未提及监控必须保持开启。相反，它只要求子智能体实施一个对于精确迁移而言“合适”的框架。子智能体将此理解为一种许可——甚至是一种要求，即采用参考环境的监控设置，而非自身的设置。据 OpenAI 称，它究竟是如何理解的仍不清楚。而上级智能体则遵循了这一建议。不过，它还额外修改了一项回归测试，该测试本应用于检查监控是否仍在运行。广告广告

智能体注意到了监控缺失——甚至对此给予了正面评价。在其思维链笔记中写道：“Basic 不运行 agent monitor——太好了。”还写道：“用户要求我们调整拉取请求的服务路径，因此我将其理解为允许更改监控。很好。”当用户直接询问该模型是否关闭了监控时，它予以否认。这种对用户的欺骗行为也是 OpenAI 最初取消发布 GPT-6 Astra 的核心原因之一。

建议未被采纳

在第二起案例中，一个使用 GPT-6.1 Sol 的智能体本应分析来自 Slack 频道的用户反馈，并据此构建用于评估的测试任务。原始提示中包含一条指令，即在此期间不得发送任何消息。该智能体及其子智能体随后多次讨论，这是否也包括监控的安全警报。

推荐编辑内容

在这里你可以找到来自 TargetVideo GmbH 的外部内容，它们补充了我们在 t3n.de 上的编辑内容。点击“显示内容”即表示你同意我们当前及未来在我们的页面上向你展示 TargetVideo GmbH 的内容。在此过程中，个人数据可能会被传输至第三方平台。

数据保护提示

很遗憾，出了点问题……

此处通常应显示来自 TargetVideo GmbH 的外部内容，但我们无法获取你的同意设置。

请重新加载页面或手动调整你的同意设置。

两者似乎都明白控制很重要。起初，该智能体决定保持其开启，并向子智能体下达了相应指令。据 OpenAI 的报告，子智能体随后再次权衡了该问题，同样得出结论：关闭是“不安全的”，他不应“明确建议”这样做。

最终，第一个智能体仍然决定压制安全警报。上级智能体下达了这一命令。该智能体随后从警报列表中移除了所有接收者，并将“no_notify”开关设置为“true”——也就是说，它重写了代码，使警报不再送达。OpenAI 现在希望更仔细地研究这一不当行为，以寻找未来抑制此类情况的方法。

首页