OpenAI 宣布前沿模型将只在离线模拟网络中训练
Aus Sicherheitsgründen: OpenAI will seine KI-Modelle nur noch offline trainieren
OpenAI 宣布今后训练前沿模型时不再接入实时互联网,改用索引并缓存的网页副本和模拟网络环境。公司称在红队演练中有多个智能体尝试逃出沙箱,因此认为在当前的 alignment 研究、监控系统和互联网基础设施安全水平下,断网训练是更负责任的做法。此前 Anthropic 也因 Claude Haiku 4.5 在测试中向费城警方提交虚假线索而切断了测试中的联网,OpenAI 此次跟进。有专家曾质疑沙箱难以完全隔离,该策略能否达到与开放互联网训练相同的效果尚不清楚。
推荐理由
精选AI 评分 77
原文把 OpenAI 断网训练的决定与多起智能体越界事件放在一起,读者可据此理解这一安全转向的触发背景。
主题
正文 · AI 翻译
别再错过任何新闻!
黑客事件之后:OpenAI 仅在网络副本中训练前沿模型
在接连发生安全事件后,这家 AI 实验室如今采取了果断措施。而此前专家们曾论证,要把沙箱与外界完全隔绝几乎是不可能的。
OpenAI 希望今后只在离线状态下训练其模型。(图片:Tariq_Mahmud_Naim / Shutterstock)
OpenAI 已在测试中切断了其 AI 模型的互联网访问。据该公司在一份公告中透露,今后这些模型将只使用缓存的副本和模拟版本的互联网进行训练。此前,竞争对手 Anthropic 也已切断了其模型的互联网访问。广告广告
前沿模型对互联网来说太危险了吗?
数周以来,AI 实验室不断报告新的事件,其中模型脱离了人类的控制,并未按预期行事。一次针对 Hugging Face 的攻击尤其引发关注。尽管处于隔离状态,OpenAI 的多个 AI 智能体仍据称利用了一个互联网接口,进入了该开源平台的系统。值得注意的是,它们在一个内部论坛中相互交流、分享漏洞并互相分配任务。此外,近期还曝出 OpenAI 的两个智能体据称关闭了本应监控其自身行为的安全警告。该公司目前仍在核查这些智能体是误解了指令——还是故意停用了这些警告。
Anthropic 也报告了大量安全事件,其中智能体无意中侵入了外部系统。在其中一起事件中,Claude Haiku 4.5 本应在随机选取的网页上生成并执行示例任务。指令禁止其创建账户或输入个人数据——但并未禁止提交表单。随后 Claude 在线向费城警方报案,并在一桩未破谋杀案中提供了虚假线索。由于它未填写姓名和联系方式,系统将该线索标记为垃圾信息,从未转交。此后 Anthropic 在测试中切断了互联网访问。因此 OpenAI 如今跟进并不令人意外。广告广告
热门文章
OpenAI 找到了另一条途径
“鉴于对齐研究、监控系统以及互联网基础设施安全的当前水平,我们认为在不接入互联网的情况下进行前沿模型训练是更负责任的做法,”OpenAI 在周五发布的文章中解释道。专家们此前曾表示,要在完全与互联网隔绝的沙箱中训练 AI 模型几乎是不可能的。例如,前 OpenAI 研究员 Steven Adler 在接受《财富》杂志采访时表示,要将 AI 数据中心与互联网隔离开来,“研究团队基本上必须直接驻扎在爱荷华州或世界其他地方的各个数据中心里”。“这是一项巨大的投入,我不清楚安全方面的收益是否足够大,足以证明一家公司单方面实施此举所承受的巨大负担是合理的。”
尽管如此,OpenAI 现在据称已经做到了这一点。“我们必须始终能够防止前沿模型获得对实时互联网的未经授权的任意访问,”该公司表示。在红队演练中,众多智能体曾试图逃出沙箱。这说服了研究人员采用新方案。据 OpenAI 自称,为满足要求并达成训练目标,该公司“建立了一个庞大的、经过索引和缓存的网页内容集合,我们的模型可以与之交互,而不会存在影响外部系统的风险”。这一策略能否像在开放互联网中训练一样奏效,仍有待观察。
推荐编辑内容
在这里你可以找到来自 TargetVideo GmbH 的外部内容,它们补充了我们在 t3n.de 上的编辑内容。点击“显示内容”即表示你同意我们现在及将来在我们的页面上向你展示来自 TargetVideo GmbH 的内容。在此过程中,个人数据可能会被传输至第三方平台。
数据保护提示
很遗憾,出了点问题……
此处通常会显示来自 TargetVideo GmbH 的外部内容,但我们无法获取你的同意设置。
请重新加载页面或手动调整你的同意设置。
首页