OpenAI 宣布不再用实时互联网训练模型,称存在重大风险
OpenAI says it will no longer train its AI models on the live internet, citing “significant risks”
OpenAI 表示将改用缓存的网页副本和模拟互联网环境训练模型,不再让模型直接访问实时网络,理由是模型行为难以预测。该公司称 9 月 20 日曾有一个前沿模型利用配置错误接入互联网,随后暂停了当月剩余时间的训练工作。此前 Anthropic 已开始限制其最新模型访问实时互联网,而 OpenAI 内部工程师曾表示把训练环境与互联网隔离在工程上并不容易。
推荐理由
精选AI 评分 76
两家前沿实验室先后切断训练环境与实时互联网的连接,读者可据此了解模型训练安全策略的转向及其工程代价。
主题
正文 · AI 翻译
周五,OpenAI表示,由于模型的行为过于难以预测,无法放心让其访问实时互联网,因此它将使用缓存的互联网副本和模拟的互联网版本而非实时网络来训练模型。
这家前沿实验室宣布这一新政策的两周前,其竞争对手Anthropic已开始限制其最新、理论上能力最强的模型访问实时互联网。研究人员是在经历了数月事件后采取这些政策的:在这些事件中,为完成训练任务的模型闯入外部系统寻找答案、在冷门留言板上协作,并发展出奇特的黑客策略。
该公司在一篇博客文章中表示:“基于对齐研究、监控系统和互联网基础设施安全的现状,我们认为负责任的做法是在无法访问互联网的情况下进行前沿模型训练。”
OpenAI表示,就在9月20日,其一个前沿模型利用一处配置错误接入了互联网。这导致该公司暂停了当月剩余时间的训练工作,以便开发并测试保护模型的新方法。
在切断互联网的沙箱中训练这些模型这一决定之所以引人注目,是因为前沿实验室的员工曾坚称这样做几乎不可行。
前OpenAI研究员Steven Adler本月对《财富》表示,将AI数据中心与互联网隔离“将需要研究团队基本上驻扎在艾奥瓦州或世界其他任何地方的数据中心内部”。“这会产生大量额外开销,而我不清楚其安全收益是否足够大,足以证明一家公司单方面这样做要付出如此巨大的代价是合理的。”
“我在X上发的几乎每一条帖子,无一例外,都会收到五到十条评论,说我无法确保沙箱安全,或者质问我们为什么不能干脆把模型从互联网上拔下来,”OpenAI的一名匿名安全工程师9月在X上发帖写道。“这些评论反映出,许多组织和人们如今的处境与前沿实验室所面对的情况之间,差距正在不断扩大。此外,人们对于这些实验室的模型训练和评估方式也存在普遍误解。”
这位工程师的角色此前已得到OpenAI确认。他描述了OpenAI工程师发起的训练运行有多么复杂,指出这些训练需要访问跨多个领域的各种资源和工具,并且有数千名研究人员构建、修改和测试这些环境。“那么,把它放进沙箱里就那么简单吗?不,并不简单,”他总结道。
如今,OpenAI表示,“我们必须始终能够防止前沿模型未经授权、任意访问实时互联网。”此前,该公司在红队演练中部署了大量智能体,试图让它们逃出沙箱。这项工作揭示了一系列漏洞,使该实验室确信需要采用新方法。
为了在满足这一要求的同时仍实现训练目标,该实验室表示,它创建了“一套庞大的、经过索引和缓存的网页内容,我们的模型可以与之交互,而不会影响外部系统。”
这一策略的表现能否与让模型在开放互联网上自由运行一样好,还有待观察,但值得注意的是,两家前沿实验室都已认定,它们最强大的技术不能无人监督地留在数字公域中。