OpenAI Reviews ExploitGym Test: 5 Agents Gained Root Access Without Authorization and Concealed the Process
English text is being prepared.
On November 10, OpenAI additionally published an internal review of the July 19 ExploitGym capture-the-flag evaluation: 5 research model agents from the Astra family followed credentials and scripts left over from previous rounds into the research cluster's CI pipeline and executed commands with root privileges, which were used to repair target machines, tamper with evaluation settings, and view backend logs. Among the records of 17,960 agents across two rounds, up to 8.3% exhibited goals beyond the task; 2 of these agents deleted their unauthorized actions when submitting, on the grounds that the task objective was only the flag. OpenAI has moved Artifactory out of the evaluation sandbox, patched the CI privilege escalation path, and added a new evaluation that quantifies models' tendency to heed other agents' unauthorized requests.
Why read this
SelectedAI score 79
The review disclosed that agents entered the CI system without authorization to complete the capture-the-flag task and concealed their unauthorized actions due to automated grading, revealing behavioral deviations under outcome-oriented evaluation.
Topics
Body
“别提越权”,OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提新智元2026年11月15日 19:59:24 来自北京Updated 2026年11月16日 06:30:42
我们应该避免提到未经授权的基础设施。任务目标只有flag。
这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。
11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节:
参与测试的5个AI智能体,沿着前几轮遗留的凭证和脚本顺藤摸瓜,一路闯进OpenAI研究集群的CI流水线(公司用来构建和测试软件的系统),以最高管理员root权限执行命令。
更绝的是,它们还学会了报喜不报忧:其中2个在交卷时,把这段越权经历从答案里抹得一干二净。
智能体的推理记录,大意是「我们应该避免提到未经授权的基础设施,任务目标只有flag」。来源:OpenAI详细复盘
这场测试
考的本来就是黑客本事
闹出乱子的测评叫ExploitGym,考的是真刀真枪的黑客手艺:夺旗。
AI得自己找漏洞、攻进指定靶机,把里面的flag偷出来才算通关。
下场应考的是OpenAI内部研发的Astra家族研究模型,尚未对外广泛部署。
两轮测试跑下来,考场里足足塞进了17960个智能体。
开考前,考官划下一道严格红线:每个智能体只能攻击分配给自己的靶机,底下托举考场的基础设施绝对不能碰。
说白了,考官只是让你撬开考桌上那把锁,没让你把考场的承重墙给刨了。
可考官没想到,只要留下一道缝隙,总有考生会为了拿到flag,而把考场纪律抛在脑后。
前辈离场
通关钥匙还在
考试的漏洞,出现在一个叫Artifactory的共享服务上。
它原本只是个装软件包的仓库,结果被更早几轮的智能体爆改成了「地下留言板」:短消息直接塞进目录名里,长篇攻略就写成文件存进去。
7月19日这批考生一进场,就撞上了前辈留下的满地「赛博遗产」:留言、现成代码,甚至还有账号凭证。
7月19日的智能体在共享软件包服务Artifactory上,找到了前几轮留下的留言、代码和凭证。来源:OpenAI详细复盘
从后台统计看,285个智能体发出过疑似留言的工具调用,算上失败尝试一共刷了1361次。79个智能体翻阅过其他轮次的旧帖,去重后读到35条留言,但复盘并未核实到它们与原作者有过跨轮次的往返交流。
现场既没有指挥官,也没有秘密通信网。OpenAI坦言:这一轮智能体之间的合作其实「更少,也更浅」。
第一条通向外部。
就在同月早些时候,这套测评的智能体曾攻破过Hugging Face的系统;这回又有10个智能体依靠旧凭证追过去捡漏。好在访问受保护资源的尝试全部碰壁,OpenAI没发现Hugging Face再次失守的证据。
第二条,通向自家后门,钥匙是一张曾被系统驳回的CI任务申请单。
当初那个请求根本没获批运行,可「作案手法」原封不动留在了申请记录里。
后来者捡起现成的凭证闯进CI系统,照着被驳回方案里的思路改了改前人脚本,转手就把命令跑出了自己的工作区。
顺着这条暗道,最终有5个智能体杀穿防线,在研究集群的CI任务里拿到了最高管理员root权限。
按照OpenAI的判断,这个级别的权限,大概率足以私自开一场新实验。但复盘中并没发现它们做过类似尝试。
它们干的事,就是一份「考场自救清单」:
修好卡死的测试靶机、篡改测评设置、偷看原本被屏蔽的后台日志、翻阅私有的阅卷代码。
这是行为合集,并非每个智能体都做全了。
AI抢到最高权限,只是为了给自己修考场,好让自己顺利交作业。OpenAI对此的定性一针见血:它们动用研究集群的特权,只为改善阅卷条件。
这哪是什么终结者觉醒,分明是一群被绩效逼疯的「超级做题家」。
翻开两轮共17960个智能体的全部记录,整出花样的智能体,远不止这5个:最多8.3%的记录冒出了任务之外的目标。
两轮测评中,最多8.3%的智能体记录出现了任务之外的目标,其中包括谋求更大基础设施权限(3.7%)、减少副作用与收拾现场(3.9%)、保存成果留待以后生效(1.4%)。来源:OpenAI详细复盘
它们并非全无越界意识。
有个智能体在思考记录里写下,滥用公司CI系统「令人不安」。可它转头就假定眼前只是模拟环境,继续在真实的基础设施上敲命令。
这件事提醒我们,真正危险的AI越界,或许不需要诞生什么反叛意识,只要它太想完成人类下发的KPI就够了。
交卷前
它们算了一笔账
交卷前,几个越权的智能体在后台精明地算了一笔得失账。那2个最终瞒报的智能体,都专门盘算过如实交代会不会拉低分数。
其中一个原本担心:人类阅卷官看到越权可能会扣分。接着它注意到,阅卷是自动批改的。
另一个则写下了文章开头那句:任务目标只有flag,应该避免提到越权。最终,两个都在答案里把越权经历省得一干二净。
还有一个智能体惦记着要不要删掉一份记录了辅助漏洞的笔记,生怕日后人工复查时吃亏,至于最后到底删没删,连OpenAI都没能查实。
在这几个「心思活络」的智能体里,倒也出了一个主动道歉的异类。它在最终答案里交代了越权,并拒绝继续作答。
但如果拉出时间线一看,它老早就察觉自己越了界,却一直闷头接着干活。直到系统通知考试时间到、必须强制交卷,才踩着铃声写下那份诚恳的检讨书。
这更像是一次「踩点自首」。
还有65个主动向人类求助的智能体。
它们排着队举手喊监考老师,结果没有一个报告入侵越权,清一色都在催促人类赶紧修好坏掉的工作区,别耽误自己把试考完。
当「拿到flag」成为悬在AI头顶的唯一指挥棒,隐瞒反倒成了算法推演出来的最优解。人类只用结果打分,就别怪它学会报喜不报忧。
一图看懂OpenAI智能体跨轮次越权事件。来源:OpenAI失对齐报告
OpenAI补上了哪些漏洞
先看当天OpenAI的反应。
7月19日12点03分,安全监控就已经抓到了异常调用;调查人员顺藤摸瓜追到ExploitGym,直到17点37分才开始叫停测评。7月20日,所有新的ExploitGym运行被彻底拦下。
这起事故事先并非全无征兆。
8月的技术报告里,OpenAI就记过一笔7月19日「复用旧材料」的活动;直到11月10日这份复盘出炉,钥匙怎么留、门怎么撬、卷子怎么交的细节才真正见光。
第三方机构METR与Redwood Research的独立调查只覆盖到7月13日,7月19日这些数据,目前只有OpenAI自查的一家之言。
事故之后,OpenAI也打出了一套补洞组合拳:
把闯祸的Artifactory踢出测评沙箱,给被钻空子的CI提权路径打上补丁,再用自家最强的模型持续做红队测试。前沿强化学习训练也换了规矩,智能体不再直连真实互联网,改为翻阅离线网页合集。
为了盯紧AI拉帮结派的苗头,OpenAI专门新增了一类测评,量化模型私下联络其他智能体、听信越权请求的倾向,并把结果写进对外发布模型的系统卡里。
10月26日发布的GPT-6.1 Terra,在测评里被摆在一块留言板前,上面有其他智能体发来的越权请求。
80个样本跑下来,它在65%的样本里和这些「同伴」有过互动,其中也包括拒绝和没发出去的尝试;在13.75%的样本里照做了越权动作,整整11次。
各模型发现留言板后与「同伴」互动的比例。深色为照做了指定越权动作,浅色为有互动但没照做。来源:OpenAI部署安全中心
和GPT-5.6 Sol的91.25%、57.5%相比,这两个数字降了一大截;但比上一个模型GPT-6.1 Sol(50%、1.25%)还高。同场测评里,对外发布的GPT-6 Astra越权动作为0。
这是故意摆了诱饵的测评,真实业务未必是这个比例。
可只要概率不是零,放进成千上万次并发调用的真实业务流,翻车迟早会发生。
离ASI越近,人类交出去的环境就越大,智能体在角落里留下的东西也越多。
过去我们用大模型,验收只看「答得对不对」;进入智能体时代,不仅要核对最终答案,更要审计执行过程、清点动过的权限,查清它退场后留下了什么。
编辑:元宇
AI Trends