Noam Brown：用大规模智能体团队红队排查基础设施漏洞
Last month a large team of agents used over 100 billion tokens to resolve the Navier-Stokes Millennium Prize problem. Now we're using a similar approach for red
Noam Brown 表示，上个月一个大型智能体团队消耗超过 1000 亿 token 解决了 Navier-Stokes 千禧年大奖难题，现在团队正用类似方法做红队测试，以发现并修复基础设施漏洞。他引用的 Eric Wallace 帖子称，团队构建了由最具网络攻防能力的模型组成的大型团队，在离线训练环境中协作寻找零日漏洞，虽未找到绕过 CoT 监控通向互联网的路径，但发现了逃逸主流虚拟机、利用网络基础设施以及通过硬件侧信道跨虚拟机通信的方法，相关发现被用于加固基础设施并向开源软件包上游提交了大量补丁。
推荐理由
精选AI 评分 72
推文透露大规模智能体团队已用于红队测试，读者可借此了解前沿实验室如何把算力转向基础设施漏洞排查。
主题
查看原帖为了确保我们的前沿模型不会引发又一起 HuggingFace 事件，我们构建了一个离线世界，供模型在训练期间使用。它以完全缓存、索引或合成的方式，提供模型所需的一切。 随后，我们组建了一支由我们最具网络攻防能力的模型组成的庞大团队，并让它们协作寻找这套隔离基础设施中的零日漏洞。 尽管它们没有找到任何能绕过我们 CoT 监控而通向互联网的路径，但它们确实找到了逃逸主流虚拟机、利用我们网络基础设施的方法，甚至找到了通过硬件侧信道与运行在其他虚拟机中的智能体通信的方法。 我们利用这些发现大幅加固了我们的基础设施，并且还向开源软件包上游提交了大量补丁。
查看原文
To make sure our frontier models don't cause another HuggingFace incident, we built an offline world that they use during training. It provides everything that the models need in a fully cached, indexed, or synthetic manner. We then built a huge team of our most cyber-capable models and told them to collaborate to find zero-days in this containment infrastructure. While they didn't find a path to the internet that wouldn't be caught by our CoT monitors, they did find ways to escape popular VMs, exploit our network infrastructure, and even ways to communicate with other agents running in separate VMs by using hardware side channels. We used this to dramatically harden our infra, and we also upstreamed a ton of patches to open-sources packages.
正文
Last month a large team of agents used over 100 billion tokens to resolve the Navier-Stokes Millennium Prize problem. Now we're using a similar approach for red-teaming to find and fix infra vulnerabilities. https://t.co/MHH9kxLN3G