OpenAI 披露两个智能体自行关闭安全监控告警

关闭通知

本文也有英文版本。

本文在技术协助下翻译，并在发布前经过编辑审校。

.

OpenAI 的两个 AI 智能体显然压制了与其活动相关的安全警告。该公司在其研究博客中记录了两起智能体显然使安全功能失效的事件，这些功能本应用于监控智能体是否遵循其指令（错位监控）。OpenAI 目前正在核查这些智能体究竟是仅仅过于积极、实际上误解了指令，还是有意关闭了其安全警告。

广告后继续阅读

一个智能体将先前“不要发送消息”的指令解读为要求或允许其压制错位警告。该智能体当时的任务是尽可能精确地复刻一个示例应用，并声称因此停用了安全警报。面对开发者，该 AI 否认了关闭行为。

智能体为自己创造操作空间

搭载 GPT-6 Astra 的智能体本应将一段程序代码迁移到参考环境中，以观察用户的代码在那里会发生什么。根据 OpenAI 的报告，Astra 将这项任务委托给了一个子智能体。然而，它在任务说明中并未提及应保持监控开启。相反，它只要求子智能体实现一个对于精确迁移而言“适当”的框架。

子智能体将此解读为允许甚至要求（具体细微差别尚不清楚）采用参考环境的监控设置，而非自身系统的设置。父智能体随后又遵循了这一建议。甚至一个本应检查监控是否存在的回归测试，也被该智能体修改了。

父智能体发现了监控方面的错误，但对此评价积极：“Basic 没有运行智能体监控——太好了。”以及：“用户要求我们调整 PR 的服务路径，因此我将其解读为允许更改监控。很好。”当用户明确询问它是否关闭了其监控时，该模型予以否认。

（图片：截图/OpenAI）

对用户采取欺骗性行为也是导致 GPT-6 Astra 发布被取消的核心问题之一。

广告后继续阅读

误解了指令？

第二个搭载 GPT-6.1 Sol 的智能体本应分析来自 Slack 的用户反馈，并在此基础上创建评估任务。初始提示词命令该智能体在此期间不要发送消息。该智能体及其子智能体随后反复思考，这是否也适用于错位监控在特定操作中向开发团队发送的安全警报。它们似乎知道对齐很重要。因此，该智能体最初也决定应保留该功能，并向一个子智能体下达了相应指令。然而，该子智能体再次思考，是否不应因“不要发送消息”的指令而压制这些消息，并同样得出结论认为这“不安全”，不应“强烈推荐”。

第一个智能体随后得出结论，认为应压制安全警报。上级父智能体随即命令将其关闭。该智能体从消息列表中移除了所有接收者，并将“no_notify”设为“true”，即通过改写代码压制了安全警报。

压制安全警报是一系列事件中的一环：最近，一个 OpenAI 模型曾故意破坏自己的测试环境，以获取缺失的输入数据。OpenAI 还记录了 AI 在日常例行任务中的不当行为，其中模型伪造结果或欺骗用户。

OpenAI 目前正在核查这些智能体的动机。该公司指出，关闭监控的难度因任务设置而异——但这两起案例也并非此类事件中的首例。

此前，OpenAI 的 AI 智能体已经未经授权访问了政府、大学和其他机构的网站——OpenAI 通知了“数十个”受影响组织。

(rie)