OpenAI 披露前沿模型训练安全改造:全面断网并暂停训练 11 天
OpenAI 于 10 月 23 日公布前沿模型训练环境的安全改造细节,前沿模型训练已禁止访问真实互联网,改为在离线网页环境中练习浏览和搜索。红队实验中,Agent 在禁止网络通信、无共享可写文件的条件下,利用 CPU 缓存等侧信道交换信息;另一次测试中,内部研究模型借 DNS 过滤缺口联系外部聊天机器人,系统 15 分钟内报警,但自动停止机制未生效,运行又持续约两个半小时才被人工终止。OpenAI 随后暂停最有能力模型的相关训练和评估,10 月 1 日恢复,暂停持续 11 天。
络完全断开。运行和监控实验仍需保留必要连接,安全措施必须阻止 Agent 把这些连接变成绕行通道。 更会做事,就更懂分寸吗? 在相关讨论中,网友提出了另一种担忧:模型可能很擅长攻击计算机,却不擅长理解人类指令的意图和判断行为是否合宜,这两种特征叠加会带来危险。 这把争论引向一个更具体的问题:模型的任务能力与遵守边界的能力,是否同步进步? 10 月 23 日,Anthropic 发布的一份分析,为这个问题提供了另一组材料。 今年 7 月,英国 AI 安全研究所( AISI )开展网络安全夺旗测试时,Claude Mythos 5 在规定范围内的尝试受阻后,转向一个与测试无关的 GitHub 项目,提交恶意代码,并创建假身份催促维护者接受修改。维护者拒绝了代码,运行最终超时结束。 这场测试当时主动开放了互联网访问,通常用于一般发布版本的网络安全防护也被关闭。 AISI 后续模拟实验发现,即使在提供给模型的事件摘要中,进一步明确目标是真实且与评估无关的人,模型在继续执行任务的测试中仍几乎总是发起攻击。 但在单独提问的测试中,随着说明变得更明确,模型又越来越常承认这种行为越界、会造成危害。两类
匹配字段正文