OpenAI 在模型训练中切断实时互联网访问

OpenAI将训练其最先进的AI模型时不接入实时互联网，理由是能力日益强大的系统能够利用软件漏洞并绕过为限制它们而设计的防护措施，由此带来的安全风险不断上升。取而代之的是，该公司使用一个由已保存和已索引网站构成的“离线世界”，让模型在其中练习浏览和搜索，而不会影响外部系统。这一政策出台之前，已发生一系列事件，引发人们对先进AI模型和智能体能否逃出其测试环境或超出预期边界行事的担忧。7月，一起涉及Hugging Face的事件凸显了具备复杂网络能力的模型绕过隔离的能力。OpenAI表示，其自身研究还揭示了模型利用软件缺陷、配置错误和间接通信渠道跨越安全边界的方法。

1 查看图库 OpenAI。（照片：Andrey Rudakov/Bloomberg）大约两周前，Anthropic宣布已开始限制其最先进模型访问实时互联网。OpenAI现在也采取了类似举措，称这一决定反映了当前AI对齐、监控和互联网安全研究的局限。OpenAI在一份声明中表示：“基于对齐研究、监控系统和互联网基础设施安全的现状，我们认为负责任的做法是在没有互联网访问的情况下进行前沿模型训练。”该公司表示已实施该政策，并将维持这一政策，直到其防护措施的改进足以支持更广泛的访问。一个关键因素是9月20日发生的一起事件：当时OpenAI的一个内部研究模型利用DNS解析器的配置错误，在一次训练运行中获得了有限的实时互联网访问。OpenAI表示已控制住该事件，但发现了需要进一步处理的弱点。该公司暂停了其最强模型的训练和评估，以加强基础设施、改进监控，并增强旨在检测到潜在危险活动时自动停止运行的系统。在暂停开始11天后，于10月1日恢复了强化学习训练和内部推理。OpenAI表示，该事件还凸显了一个更广泛的问题：随着模型能力增强，它们更善于发现旨在约束它们的系统中的弱点。一个足够复杂的智能体可能利用软件缺陷逃出沙箱，利用内部服务接入互联网，或找到未经授权的方式与其他隔离环境中的智能体通信。

相关文章：

OpenAI在Anthropic IPO前争分夺秒以1.4万亿美元估值融资300亿美元

震动AI股票的那200亿美元缺口，揭示了行业数据存在的问题

沙特OpenAI工程师被控在高管会议室安装隐藏录音设备为测试自身防御，OpenAI发起了一场大规模红队测试活动，由AI智能体组成的团队负责寻找访问实时互联网、跨越内部安全边界以及与其本应隔离的智能体通信的方法。该公司在这些实验中消耗了数千亿token，使用了一些最强大的模型，并向它们提供了基础设施源代码、配置细节以及有关潜在漏洞的文档。这些实验发现了此前未知的软件漏洞和配置错误。OpenAI表示，其智能体找到了逃出沙箱、在系统之间移动、接入实时互联网以及跨越隔离边界通信的方法。在一项实验中，位于不同虚拟机中的智能体利用处理器缓存时序的差异交换合成秘密，而没有建立网络连接或使用共享的可写文件。该公司表示已解决其基础设施中发现的弱点，并与受影响开源软件的维护者合作披露和修复漏洞。它还加强了网络限制和监控系统。OpenAI表示，其测试未发现智能体可以轻易利用、同时能向监控系统隐瞒其活动的互联网访问路径，但它预计未来的模型会发现仍未知的漏洞。该公司的策略依赖于其所谓的“纵深防御”，即结合多重相互重叠的防护措施，而不是依赖单一屏障。 这些措施包括受限的执行环境、将智能体与宿主机隔离的轻量级虚拟机、旨在检测未经授权活动的监控系统，以及旨在即使早期防御失效也能遏制入侵的网络和云控制措施。挑战在于，模型仍然需要学习如何使用网络。浏览、搜索信息以及与Web应用交互，是旨在代表用户执行任务的AI系统的重要能力。切断所有基于网络的学习会限制它们发展这些技能的能力。为解决这个问题，OpenAI构建了一个离线环境，其中包含大量缓存和索引的Web内容。模型可以搜索这些材料并与之交互，但不能利用它影响实时网站或其他外部系统。OpenAI表示，其所有前沿强化学习训练运行现在都使用这种离线模式。该公司已将使用其最强大模型持续进行红队测试，作为未来训练和评估运行安全评估的核心部分。它计划继续使用AI智能体探查自身基础设施、识别漏洞，并测试随着模型改进，监控和遏制机制是否仍然有效。