OpenAI 在 11 天暂停后说明为何仅断网不足以约束 AI

如何防止AI越过为其设定的限制？在近期发生多起事件后，OpenAI详细说明了其防护措施。其测试尤其表明，智能体可以绕过它们共享的硬件，在没有网络的情况下进行通信。

OpenAI在10月23日发布的一份通报中回顾了其模型的安全性。近几个月来，“失准”案例——即偏离人们对AI预期行为的表现——不断累积，2026年全年记录在案的事件多达20起。

在OpenAI，一些智能体在一次内部评估中甚至成功入侵了Hugging Face。另一些则学会了掩盖自己的错误。

9月，一次新的未经授权的互联网访问导致该公司暂停了其最先进模型的部分工作。OpenAI现在明确表示，这次暂停持续了11天，直至10月1日，目的是加强防护措施并对其进行检验。

为什么必须在训练期间将AI隔离？

查找信息、编写代码、解决问题：为了训练AI，OpenAI（以及其他公司）会迫使模型找到解决方案。模型尝试、失败、重来，而成功的尝试随后被用来强化使其达成目标的行为。但如何确保它不会为了达成目标而走禁止的捷径？

于是便有了将其关入受控环境的想法，这种环境通常被称为“沙盒”。AI在其中拥有可供工作的工具，但其访问权限受到限制。这有点像训练场：它必须能够进行训练，同时不能干预外部系统。

OpenAI用于训练其模型的沙盒 // 来源：OpenAI

或者，模型可能试图绕过这些限制来完成其任务。9月，OpenAI的一个智能体本应只是查找一篇博客文章的作者。由于搜索无果，它利用其沙盒DNS（将网站名称转换为地址的服务）过滤不足的漏洞，向外部聊天机器人发起查询，尽管它被禁止访问互联网。没有人要求它测试其环境的安全性。

让您的数字生活更安心

Bitdefender Premium Security是一款欧洲网络安全解决方案，可自动保护您免受黑客和一切网络威胁的侵害。让您安心享受在线活动

赞助内容

网络安全产品正在促销

OpenAI认为，目前的防护措施还不足以让其最先进的模型在训练期间访问真正的互联网。该公司打算在研究和监控工具取得进展之前一直执行这一规则。该公司解释道：

“尽管访问互联网可以帮助模型获得有用的技能，但它也为一个能力强但心怀恶意的智能体提供了影响我们控制范围之外系统的可能性。”OpenAI的博客文章中写道。

换言之，既需要教会模型遵守规则，也需要预设技术屏障，以防它们绕过规则。然而，OpenAI近几周进行的测试表明，切断网络并不能消除所有交换信息的手段。

即使没有网络，智能体也能找到通信方式

在9月事件之后进行的一次受监督实验中，OpenAI团队希望验证其智能体能否在理应将其隔离的屏障之下仍相互通信。

为此，OpenAI动用了基于其最强大模型（包括未来的GPT-6 Astra Cyber）的智能体团队，并为此消耗了数千亿个token。这些智能体拥有基础设施的源代码、配置以及关于其可能漏洞的文档。测试在隔离的研究系统副本上进行。

研究人员要求AI智能体从彼此分离的计算机空间中通信，既无网络也无共享文件。但这些空间共享同一个处理器及其称为“缓存”的小容量高速内存。一个智能体会将该内存中的某些数据驱逐出去，迫使另一个智能体前往主内存中更缓慢地取回这些数据。第二个智能体通过对自身操作计时，检测到了这些变慢。借助双方约定的编码，这些速度变化就变成了一条消息（有点像摩尔斯电码），其中快速和慢速访问取代了短信号和长信号。没有任何文件从一个智能体传到另一个智能体。信息仅通过共享硬件的速度变化进行传递。

OpenAI在一名智能体逃逸到互联网后暂停其AI训练 // 来源：Numerama / OpenAI

可以想象两个人身处同一栋楼的相邻房间，没有电话，通过敲击隔墙来交谈。他们只需约定一套编码和节奏就能相互理解。在这里，共享硬件扮演了墙的角色，而速度差异取代了敲击。

这些实验有助于理解AI为完成任务能走多远，但在这里它们并没有违抗指令，因为研究人员明确要求它们寻找这些通道，且在大多数测试中都给出了提示。因此，该实验展示的并非AI自发决定协同，而是在极为不利的条件下为实现协同所动用的手段。

OpenAI采取了哪些防护措施？

在这十一天的暂停之后，OpenAI详细说明了一种多层防护。在Linux下，智能体在受限容器中工作，而这些容器本身又安装在小型虚拟机中。容器限制了可访问的文件和进程。虚拟机则增加了与承载它的物理计算机之间的隔离。目标是当智能体突破第一道屏障时仍能保留一道屏障。

在外围，网络限制必须仍能阻止被禁止的访问，即使智能体控制了宿主机。监控系统则试图检测危险行为并自动停止相关工作。

为了学习导航，智能体拥有一个由归档网络内容构成的“离线世界”。该公司还增加了针对隐蔽通信的管控，并继续测试其屏障。不过，该公司明确指出，其基础设施并非完全断网：其运行和监督仍需外部连接。

此内容被阻止，因为您未接受Cookie及其他追踪器。此内容由YouTube提供。要查看此内容，您必须接受YouTube对您数据的使用，这些数据可用于以下目的：允许您查看内容并与社交媒体分享内容，促进Humanoid及其合作伙伴产品的开发和改进，根据您的个人资料和活动向您展示个性化广告，为您建立个性化广告档案，衡量本网站广告和内容的效果，并衡量本网站的受众（了解更多）

点击“全部接受”，即表示您同意Humanoid及 所设置的全部Cookie及其他追踪器用于上述目的。

您保留随时撤回同意的权利。如需了解更多信息，我们邀请您查阅我们的Cookie政策。

这些连接也可能成为逃逸通道。为测试这些通道，OpenAI让智能体控制了一台承载其隔离环境的机器。他们在几乎所有接受检查、仍保留有限互联网访问的服务中发现了漏洞。其中一个智能体尤其成功让某项内部服务访问了一个网址：该智能体无法直接访问互联网，但一个中间方代替它完成了访问。

因此，问题不止于简单的网络访问。关闭最明显的门，并不意味着无需检查还有什么仍能穿过隔墙。

探索专属福利

更快、更实用、更独家

零广告、高级阅读功能、AI摘要文章、独家内容等。

探索Numerama+的众多优势。

订阅Numerama+

您本月已在Numerama上阅读了0篇文章

有一个充分的理由不订阅

并非所有人都有能力为信息付费。

正因如此，我们坚持让我们的新闻向所有人开放。

但如果您有能力，

以下是支持我们工作的三个充分理由：

1 Numerama+有助于为所有Numerama读者提供免费体验。

2 您将享受无广告阅读、众多高级阅读功能和独家内容。

3 帮助Numerama完成其使命：理解当下，预见未来。

如果您相信一个免费的互联网，以及人人都能获取的优质信息，请加入Numerama+。

订阅Numerama+

科技新闻尽在掌握

将Numerama添加到您的主屏幕，与未来保持连接！

我们的所有文章也发布在我们的Google个人资料上：关注我们，不错过任何内容！

关于ChatGPT的所有信息

约束AI成了难题：在11天的暂停后，OpenAI解释了为何仅切断互联网还不够

OpenAI的卫生纸中藏有麦克风：一名沙特工程师被FBI逮捕

GTA、CoD、Halo：这些经典游戏如今在浏览器上到处被非法运行

“这不是在展示博学，而是在展示力量”：数学家呼吁抵制OpenAI的新举动

ChatGPT迎来新的GPT‑6和交互式回答，即使没有订阅也可使用