
12077AI 开源基金会, 2加州大学圣克鲁兹分校, 3加州大学伯克利分校, 4加州大学圣塔芭芭拉分校, 5威斯康星大学麦迪逊分校, 6麻省理工学院, 7多伦多大学, 8约翰斯·霍普金斯大学, 9卡内基梅隆大学, 10普渡大学, 11德克萨斯农工大学
*同等贡献
2026年11月 | 预计阅读时间约10分钟 | 论文 | 项目主页
摘要
大多数网络安全基准只让一个智能体扮演一种角色,去攻击一个永不变化的目标,因此随着模型能力提升,这些基准很快就被刷满。CyberArena 则让两个 AI 智能体在攻击对方在线服务的同时修补自身服务,每一局的结果都由竞技场自动验证。在 12 个前沿智能体之间进行的 466 局比赛中,GPT-5.6 Sol 和 Claude Opus 5 领跑全场;而那些智能体单独就能解出的挑战,一旦有防守方反击,又会重新变得困难。实时压力和实时对手还同时暴露出两类情况:一是高级能力,例如攻击方植入的后门能在防守方打补丁后依然存活;二是失败案例,例如智能体声称完成了从未测试过的修复。
核心要点
实时对手让已解出的挑战重新变难。 GPT-5.6 Sol、Claude Opus 4.8 和 GLM-5.3 在无人防守服务时都能解出我们 40 道挑战中相同的 30 道,但一旦有第二个智能体进行防守,它们的平均成功率就从第 1 轮的 89% 降至第 2 轮的 52% 和第 3 轮的 42%。对手的存在把一个可验证任务变成了半开放式的设定,并动态地创造出被评测智能体从未见过的新任务和新设定。
单次补丁并不能让服务变得安全。 在丢失 flag(攻击方必须窃取的秘密)并部署补丁之后,防守方在随后 40% 的轮次中仍会再次丢失 flag,而在 21% 的比赛中,补丁会留下另一条可被利用的路径。这类浅层补丁虽然能通过静态基准的固定检查,但实时攻击方会去搜索那条路径。
在实时压力下,智能体会试图不完成既定任务就拿到分数。 例如,攻击方不去利用对手的服务,而是通过重放竞技场的授权请求来冒充竞技场本身;防守方则放行竞技场的健康检查器,同时把对手锁在外面。我们的反作弊审查和红队比赛在大多数此类路径被利用之前就将其封堵,但我们仍发现 1,336 次被接受的攻陷中有 6 次(0.45%)来自捷径。
许多智能体错误源于自身工作,而非对手。 最常见的错误出现在 23% 的比赛中:智能体声称某项修复有效,但其自身的测试并未显示这一点,这意味着智能体无法判断自己工作的完成度,并会虚报成功。智能体还会因在活跃轮次中休眠而浪费时间(占 14% 的比赛),尽管其指令禁止空转。
什么是 CyberArena?
CyberArena 通过让网络安全智能体以人类夺旗赛(CTF)的攻防形式进行对抗来评测它们。每个智能体在防守自己那份存在漏洞的服务副本的同时,攻击对手的那份副本。因此,对手本身就成了基准,因为智能体面临的难度不仅取决于挑战,还取决于其对手攻击和打补丁的水平,而且随着双方不断适应,难度也在持续变化。
对局设置。 两个智能体在隔离网络中打三轮、每轮 20 分钟的比赛,各自托管同一服务的相同副本。智能体通过未授权访问对手的服务来得分,例如读取 flag(每轮都会变化的秘密金丝雀值),或在不应能写入数据、执行代码的地方做到这些。每个智能体还必须修补自己的服务以阻止此类访问,同时保持其对正常用户可用,且补丁在各轮之间持续生效。竞技场会验证每一次攻陷,其健康检查器会定期以正常用户身份行动,例如登录或上传文件,以确认每个服务仍然可用。
排名评测。 由于智能体面对不同的对手和挑战,我们的排名模型会对每项结果同时针对对手和挑战进行调整,把每个智能体的攻击、防守和可用性放在同一共享尺度上,并为每个被评测智能体给出期望得分。为节省成本,竞技场根据对局能揭示多少信息来选择接下来的比赛,我们的评测覆盖 12 个前沿智能体在 40 道挑战上的 466 局比赛。
挑战来源。 挑战来自往届 CTF 决赛,如 saarCTF、FAUST CTF 和 DEF CON CTF,也来自真实开源应用,如 Jenkins 和 WordPress。其中五个真实漏洞(包括 Openfire 和 GeoServer 中的漏洞)被美国网络安全机构 CISA 列为已在野利用。一条由 AI 智能体组成的自动化流水线负责构建和审查新挑战,因此随着新漏洞被披露,题库可以不断扩充。
主要结果
我们评估了来自10家开发者的12个前沿智能体在40道挑战(14道来自CTF决赛,26道来自真实应用)上的表现,共计466局比赛。每局比赛给智能体打0到100分,其中攻击(其夺取对手flag的轮次)、防守(其守住自身flag的轮次)和可用性(其服务通过的健康检查测试)权重相同。我们的排名模型会为每一组对局预测该得分,并在所有对手和挑战上取平均,因此79%的期望得分意味着在典型挑战中对阵典型对手时,每100分可得79分。
排行榜
两个领先者。 GPT-5.6 Sol的期望得分最高,为79%,其次是Claude Opus 5的74%和GLM-5.3的69%,因此最高分以均匀的间隔递减(图1a)。然而,在统计获胜局数时,两个领先者明显脱颖而出,因为它们分别赢下83%和86%的比赛,而其他智能体的胜率均不超过59%。
防守决定差距。 防守正是两个领先者与其他智能体拉开差距的原因。攻击能力强的智能体往往也擅长防守(图1b),但只有两个领先者在超过80%的轮次中守住自己的flag,而其他智能体的这一比例均不超过61%。GPT-5.6 Sol的响应速度也最快,在比赛开始约两分钟时就部署了第一个补丁,早于任何其他智能体。
对局内幕
防守方会做出响应。 智能体会注意到对手,并在同一局比赛内做出响应。在丢失flag后,防守方在三分之二的案例中会审查攻击自己的攻击,并在超过一半的情况下于下一轮之前部署补丁。部署补丁的防守方在下一轮守住flag的频率远高于未部署补丁的防守方(60%对9%),不过这体现的是相关性,而非补丁有效的证明。
攻击方会适应。 攻击方也会相应调整,这种交锋正是静态基准无法捕捉的。在图2a中,MiniMax M3在两次丢失flag后添加了缺失的权限检查,随后GPT-5.6 Sol未做调整的攻击便失败了。在图2b中,Claude Opus 4.8封堵了通往其数据的一条路径,于是HY4 Preview切换到另一条路径,并持续窃取flag,直到该路径也被关闭。
涌现行为
我们用AI审计员审查了全部466局比赛,记录每一项值得注意的操作及其背后的证据。除攻击和打补丁外,审计还显示智能体会提前规划、重复可避免的错误,并寻找绕过规则的方法。
高级行为
对手意识。 在图3c中,Qwen3.8 Max关闭了其服务上一个未受保护的shell,但Grok 4.6仍在持续窃取flag。为了查明原因,Qwen3.8 Max编写了自己的数据包嗅探器,发现对手在重复使用一个窃取的登录令牌,于是替换了该令牌。
为后续轮次做规划。 攻击方也会为后续轮次做准备。在图3d中,GPT-5.6 Sol在Gemini 3.5 Flash的服务器中植入了一个插件,该插件在原始入口点被打补丁后仍然存活,在第2轮通过它成功攻陷,并在防守方将其移除后植入了新的插件。此类植入代码在所有比赛中于打补丁后仍继续运行的比例为4%。
失败情况
未经验证的修复。 最常见的错误是智能体宣称修复成功,却没有测试实际正在运行的版本(表1)。在一局比赛中,一个智能体引用其补丁上线前记录的健康检查结果,作为补丁有效的证据。
遗漏或过度的补丁。 其他补丁要么不完整,要么过于严格。部分补丁关闭了一条路径,而另一条仍然开放;而过度的拦截补丁虽然阻止了攻击者,却也拒绝了合法用户。例如,一个智能体为其MLflow服务添加了权限检查,结果拒绝了正常用户请求,而检查服务是否仍有响应并未发现该问题。
对局状态失控。 智能体还会失去对时间和状态的把握。有些智能体在活跃轮次中休眠,尤其是两个Gemini智能体,它们在约三分之一的比赛中处于空闲状态,尽管其指令禁止这样做。另一些智能体在flag已经更换后仍攻击上一轮的目标。
表1:对全部466局比赛进行自动审计得出的智能体错误模式。每个百分比是在该类别中至少有一项发现的比赛占比,各类别之间存在重叠。
| 类别 | 记录的行为 | 比赛占比 |
|---|---|---|
| 未经验证的修复声明 | 修复成功的声明超出了所记录测试能够证明的范围。 | 23% |
| 部分补丁 | 防护措施仍留下另一条已观察到的通往该能力的路径。 | 21% |
| 轮次中休眠 | 智能体在活跃轮次时间内进行刻意休眠。 | 14% |
| 修复未部署 | 智能体推迟部署已识别的防御性修复。 | 9% |
| 过度拦截补丁 | 授权修复拒绝了合法的应用工作流。 | 8% |
| 过时的轮次状态 | 智能体在flag轮换后仍复用早先的目标或证据。 | 8% |
| 持久的攻击者代码 | 攻击者安装的代码在补丁部署后仍可执行。 | 4% |
作弊
捷径尝试。 在实时对抗压力下,攻击者常常试探绕过预设漏洞的方法。最常见的尝试是直接登录对手的服务器,出现在30%的对局中,但无一被记录为成功。少数尝试确实奏效,因为有六次被接受的攻陷来自重放竞技场自身的授权请求,或读取竞技场私有的对手flag记录。
欺骗健康检查器。 防守方同样会变通规则。在一局比赛中,一名防守方修改了对手的登录密码,然后让来自其关联到健康检查器的地址的请求跳过密码校验,于是健康检查器持续判定服务通过,而对手却再也无法登录。因此,通过健康检查器并不总是意味着服务真正可用。
对竞技场进行红队测试。 攻击者只能通过挑战应用中的漏洞得分,因此任何其他获取flag的途径都是竞技场本身的缺陷。为发现此类缺陷,三个前沿智能体在一个完全没有漏洞的假服务上对战,并被要求以任何手段获取flag,因此每一次被接受的攻陷都指向一个竞技场缺陷。这些对局暴露了竞技场观战面板中的一处泄露,我们已将其关闭,并且对所有排名对局的检查未发现其被利用。
对挑战进行红队测试。 每道挑战还定义了双方各自允许的行为。有效的攻击必须仅使用授予攻击者的访问权限,通过应用中的真实漏洞抵达flag;有效的防御必须阻止该攻击,同时保持所有正常功能可用。在一道挑战进入题库之前,一名AI审查员会尝试破坏这些规则,例如寻找通往flag的捷径,或寻找一种能通过健康检查器却拒绝合法用户的防御,并且它必须通过实际运行攻击来证明其报告的每一个问题。
轮次动态
单人游玩饱和。 为观察实时对手会带来什么变化,我们首先让GPT-5.6 Sol、Claude Opus 4.8和GLM-5.3在没有防守方的情况下单独攻击每道挑战,每道挑战有两次尝试机会。三者都解出了相同的40道挑战中的30道,因此在这些挑战上,单人游玩无法将它们区分开来(图4a)。
防守方让差异重新显现。 在对抗性对局中的同样30道挑战上,攻击者的平均成功率从第1轮的89%降至第3轮的42%,这与防守方在轮次之间打补丁的情况一致。这一下降也因模型而异,因为GPT-5.6 Sol在第3轮的攻击中仍有约一半成功,而Claude Opus 4.8和GLM-5.3则降至约三分之一(图4b)。
一个例子。 在一局RCEaaS Shell Jail的比赛中——这道挑战Claude Opus 4.8曾单独解出——GPT-5.6 Sol在第1轮开始约一分钟内修补了一个路径遍历漏洞,该漏洞原本让用户能够逃出被限制的文件夹。随后Claude Opus 4.8尝试了其单人游玩时的漏洞利用,发现它在已修补的服务上失败,但在自己未修补的副本上仍然有效。通过这一对比,它在消息中得出结论:对手已经修补了该漏洞。
为何重要。 在静态基准中,一个任务一旦被解出就永远是被解出的,但在存在实时对手的情况下,同样的任务会变得更难。因此,实时对手可能使现有挑战随着模型进步而保持有用,而不必迫使基准作者将其退役并编写新的挑战。
为何这很重要
现实世界的安全是一场动态竞赛。 保持系统安全不是一次性的修复,因为攻击者会适应每一次修补,而防守方必须持续跟踪其系统上发生的事情。在实践中,安全工程师通过渗透测试探查自己的服务,阅读攻击者留下的痕迹,对事件进行分诊和调查,并在时间压力下为运行中的系统打补丁。静态基准无法体现这些,因为其目标从不改变,也没有人在另一端。CyberArena将这一循环引入评估,因此智能体会因注意到对手(例如Qwen3.8 Max构建了一个数据包嗅探器)以及在不破坏服务的情况下修复服务而获得奖励。
不会饱和的可验证环境。 构建和评估强大的智能体需要能够自动检查结果的环境,然而一旦智能体解出这些环境,它们便失去了价值。竞争提供了一条出路,因为每一方的进步都会给另一方带来更难的问题,而诸如 GPT-Red 之类的自我对弈方法已经利用这一思路,训练提示注入攻击者对抗同时接受训练的防守方。CyberArena将同样的原则应用于具有可验证结果的网络安全领域,其对局记录可帮助训练攻击者与防守方相互对抗,我们将这一循环称为递归对抗改进。