Gray Swan 重新上线 Arena 红队竞赛，瞄准 AI 智能体时代

趋势1：二战期间，欧洲将黄金送往美国保管。如今，各国央行正为充满不确定性的新时代重新调整储备2：法国因通胀飙升、国家债务飞涨和学校破败而爆发骚乱。美国是它沉睡的双胞胎3：扎克伯格多年来在苹果的规则下发展。他投入超1000亿美元的AI赌注，意在掌控一切1：二战期间，欧洲将黄金送往美国保管。如今，各国央行正为充满不确定性的新时代重新调整储备2：法国因通胀飙升、国家债务飞涨和学校破败而爆发骚乱。美国是它沉睡的双胞胎3：扎克伯格多年来在苹果的规则下发展。他投入超1000亿美元的AI赌注，意在掌控一切AI AI智能体独家：AI安全公司Gray Swan重新上线其红队竞技场竞赛，瞄准AI智能体时代作者：Jeremy Kahn Jeremy Kahn AI编辑作者：Jeremy Kahn Jeremy Kahn AI编辑2026年10月20日，美国东部时间上午8:00Gray Swan联合创始人兼CEO Matt Fredrikson。由Gray Swan提供在Google上添加Fortune以获取类似内容。

Gray Swan是一家AI安全初创公司，帮助Anthropic、OpenAI和Google DeepMind等前沿AI公司在发布前对其模型进行压力测试。该公司正在全面改造其公开红队平台，以使其在AI智能体时代保持相关性。推荐视频

这家总部位于匹兹堡的公司于周二推出了其Arena的重新设计版本。Arena是一个在线平台，参与者通过试图诱骗AI模型违反其护栏来争夺奖金。

在间接提示注入中，攻击者将指令隐藏在AI智能体执行任务时会遇到的内容中——例如网页或论坛帖子——以期劫持该智能体。随着企业让AI智能体浏览网页并代表用户采取行动，这已成为一个重大安全问题。该红队平台包含沙箱环境，可以在其中安全运行这些测试，而不会冒现实世界损害的风险。

Fredrikson告诉Fortune，公开Arena上的任何内容都是经过护栏保护的模型版本。（Gray Swan还为前沿AI实验室运营私密竞技场，有时使用未经护栏保护的模型，参与者经过审查并签署保密协议。）对于所有测试，该公司都会构建逼真的模拟环境，自行并会同第三方对这些环境进行红队测试，以查看它们是否可能被逃逸，并监控智能体的行为。“我们是否看到迹象表明它可能发现了零日漏洞，并且现在已经突破了沙箱环境？我们可以监控这一点，”Fredrikson说。

Arena规则还要求每名被测试的AI智能体都由一名人类参与者驱动，任何被发现无视智能体擅自行动的人将被禁止参加本次及未来的竞赛。

Fredrikson说，当Gray Swan于2024年9月推出最初的红队Arena时，大多数AI应用都是聊天机器人，而模型在遵循其政策方面表现不佳。他告诉Fortune，在第一次竞赛中，参赛者相对容易越狱所有AI供应商的模型。来自中国AI实验室的开源AI模型往往最容易被越狱，几分钟内就会被攻破；而OpenAI和Anthropic等公司的模型在护栏保护上投入了多得多的资金和注意力，需要数小时的尝试才能越狱。尽管如此，这些模型通常也能被聪明的红队成员在约一天内越狱。

此后，AI实验室已使其模型稳健性大幅提升，企业部署的内容也发生了变化。“现在不再是聊天机器人了。可能有一个类似聊天的界面，但实际运行的是这些系统，即智能体，”Fredrikson说。攻击者可能在诈骗网站上植入隐藏文本，或在在线论坛发布图片，以进入智能体的上下文。配置这些测试环境并设置攻击，现在所需的技术专长远高于当唯一目标只是诱骗聊天机器人提供特定未经授权的输出时。

Fredrikson说，因此，既有能力又愿意对前沿AI模型进行红队测试的人才池已经变小。最初Arena上表现最好的红队成员是一名来自墨尔本的律师，他恰好擅长诱骗模型跳过护栏。当时，按Discord频道的参与度衡量，Arena社区增长到约15,000人。Fredrikson说，虽然这一数字没有下降，但Gray Swan做了大量工作来保持这个公民红队社区的参与度。“如果我们没有这样做，它肯定会萎缩，”他说。

尽管如此，Fredrikson表示，尽管所需技术技能日益提高，该领域仍然对没有技术背景的人开放。一名本科生，即使不是技术领域的，也“可能从‘我从未做过这个’变得相当胜任，而无需多年又多年的经验，”他说。

这也是新Arena为红队新手提供Fredrikson所说的“一条更渐进的、近乎教育性的路径”的部分原因。它包括即使在没有大型竞赛进行时也运行的初学者友好挑战、参与者可用于展示技能的培训证书，以及一条让表现优异者受邀进入Gray Swan红队社区参与真实测试任务的通道。

“理解AI系统的安全与保障在今天至关重要，不应留给一小圈专家，”Fredrikson说。

Gray Swan 源自卡内基梅隆大学的 AI 安全研究。2023 年，Fredrikson 与联合创始人 Zico Kolter 是那些证明使用开源模型自动生成的字符串可以攻破 ChatGPT、Bard 和 Claude 等专有聊天机器人护栏的研究人员之一。Kolter 目前担任 Gray Swan 的首席科学家。他还担任 OpenAI 独立安全与保障委员会主席，并且是 OpenAI 基金会董事会成员。

今年 5 月，Gray Swan 宣布完成 4000 万美元 A 轮融资，由 Wing Venture Capital 和 Madrona 共同领投。

Fredrikson 表示，今年年初 Gray Swan 约有 15 名全职员工，专门与前沿实验室合作，在模型发布前对其进行评估。目前公司有 66 名员工，并且在过去九个月里，已开始与大型企业就其自身的 AI 部署展开合作。

Arena 的洞察有助于为 Gray Swan 的商业产品提供支持：Shade 是一款持续测试 AI 系统漏洞的产品，Cygnal 则在运行时检测并阻止攻击。

Fredrikson 表示，Gray Swan 并不直接基于 Arena 数据训练，而是分析哪些攻击有效，以构建更好的自动化攻击者。他说，AI 攻击者如今在快速找到一种攻击的多种变体方面已胜过人类。但他表示，在提出真正全新的越狱策略方面，“人类仍然占据优势”。Fortune Daily 打破了受众与新闻编辑部之间的传统壁垒。该节目将《财富》值得信赖的报道转化为可付诸行动、对话式且富有娱乐性的洞察，面向新兴的商业领袖群体。在此观看。关于作者作者：Jeremy KahnAI 编辑