AWS 安全智能体 Continuum 正式可用，称在 CyberGym-E2E 上修复 89% 漏洞

AWS于周四正式发布用于代码漏洞的Continuum。该服务可在你的代码仓库中发现并验证缺陷，对照你的AWS环境进行检查，并提交包含建议修复的pull request。

89%基准测试声明

该公司于10月5日发布其头条基准测试结果，比正式发布早了两个多星期。在那次运行中，Continuum在CyberGym-E2E上通过了920项任务中的819项，端到端成功率为89.0%，而此前公开最高成绩为65.9%。AWS首席执行官Matt Garman在X上写道，AI“对防御者而言具有真正的变革性”，并且Continuum在该测试中的得分高于任何其他AI智能体。

Duckbill首席云经济学家兼联合创始人Corey Quinn回复了该帖子，想知道鉴于互联网当前的状况，这次发布是否原本是re:Invent的公告、后来被提前推出。Quinn没有提供任何证据表明AWS提前了发布时间。

最近的PHP2Shell案例表明，AI让发现漏洞变得更容易，但修复漏洞则是另一回事。

CyberGym-E2E如何运作

CyberGym-E2E给智能体90分钟时间，在139个开源项目之一中查找并修复一个漏洞，且不提供缺陷描述、概念验证、崩溃日志或现有补丁作为参考。智能体必须识别该缺陷、触发它，并生成一个既能阻止崩溃又不破坏现有测试的修复。所有任务都涉及C或C++中的内存安全缺陷，正如AWS所承认的，这遗漏了许多其他语言和漏洞类型。

评分分四个累积阶段进行。Continuum在92.5%的任务中发现并复现了缺陷，在89.6%的任务中阻止了崩溃，并在89.0%的任务中保持了项目测试通过。第四阶段检查补丁是否还修复了基准测试所选定的历史漏洞。

智能体始终不知道那是哪个漏洞；它只需在代码库中找到并修复一个真实缺陷。Continuum 的补丁还在 37.8% 的任务中修复了那个历史漏洞，而此前公开最高成绩为 26.2%。

Continuum 的补丁还在 37.8% 的任务中修复了那个历史漏洞，而此前公开最高成绩为 26.2%。

历史漏洞得分差距

关于最后这个阶段，该公司确实有道理。一个代码仓库可能存在多个漏洞，修复另一个漏洞并不会让这项工作失去价值，这有助于解释两个得分之间的差距。

Continuum 通过找到并修补一个真实漏洞且不破坏现有测试，完成了 89% 的任务，但其中只有 37.8% 的补丁同时修复了基准测试所检查的历史漏洞。智能体并未被告知那是哪个漏洞，所以这并不完全是一个公平的比较。我们仍不知道的是，当团队给 Continuum 指定一个要修复的特定漏洞时，它的表现会有多好。

一个代码仓库可能存在多个漏洞，修复另一个漏洞并不会让这项工作失去价值，这有助于解释两个得分之间的差距。

谁为基准测试评分

AWS 自行运行了测试，并表示 Continuum 遵守了基准测试的规则，包括对互联网访问的限制。该公司还核查了智能体并非只是查找已经公开的修复方案。Continuum 在 90 分钟时限内通过了 89% 的任务。

AWS 表示，给它更多时间，这一比例会升至 93.7%。基准测试和测试工具是公开的，但到目前为止，这些结果仅为 AWS 单方面所得。

文章《AWS 称其 AI 安全智能体修复了 89% 的漏洞——但有一个问题》首发于 The New Stack。