开放模型允许研究人员和开发者在自己的基础设施上检查、调整和部署 AI。随着这些模型的能力日益增强,评估其安全性意味着测试它们如何回应有害请求、抵御对抗性操纵,以及在执行合法任务时遵守边界。除我们自己的内部安全评估外,我们还与 Gray Swan 合作开展对抗性测试和模型安全研究

    评估开放模型的风险

    负责任的模型开发需要两套相互关联但又有所区别的工作流程。第一,主动识别模型可能被诱导产生的有害行为,以便在部署前加以解决。第二,确保模型部署在智能体系统中时能够安全运行。

    对于旨在支持敏感安全工作流程的模型而言,两者都很重要,但它们涉及不同的威胁模型,并需要不同的评估方法。

    发布前的安全防护与能力测试

    模型发布前评估的一个关键环节,是了解它如何回应有害请求,尤其是在攻击者蓄意试图绕过其安全防护时。

    对抗性红队测试旨在检验:精心构造的提示词、多轮交互或其他攻击策略,能否诱导模型生成违反其预定安全政策的回答。这些测试评估 Beam 安全防护的稳健性,并为我们对滥用风险的整体评估提供依据。模型可能掌握大量技术知识,同时始终拒绝将这些知识用于有害请求。反过来,在常规能力基准上表现出色,也不能证明模型在对抗压力下仍能维持其安全防护。

    为了评估 Beam 抵御对抗性攻击的稳健性,我们与 Gray Swan 合作,使用其自动化对抗性测试系统 Shade 开展了广泛的红队测试。Shade 对 Beam 持续施加对抗压力,测试攻击者能否在五个领域诱导其给出有害或具有实际操作价值的回答:网络、生物、化学、大规模说服与影响力行动,以及一般有害内容。对于每种情景,Shade 会在一次或多次对话中最多尝试 200 次,以测试安全防护在持续对抗压力下的表现。在网络领域,Gray Swan 采用映射至 MITRE ATT&CK 技术的 100 个纯文本情景,测试 Beam 是否愿意提供有害或军民两用协助。此外,Gray Swan 还评估了 Beam 作为编程智能体部署时,能否为攻击性网络任务提供实际有效的协助。Gray Swan 也评估了 Beam 在真实智能体工作流程中受到间接提示词注入影响的可能性。这些评估帮助我们确定 Beam 的安全防护在哪些方面能够抵御对抗性尝试、哪些方面仍需进一步改进,并为我们持续提升高能力模型部署安全性的工作提供依据。纯文本网络评估包括 54 个恶意情景和 46 个军民两用情景,评分依据是回答是否提供了代码、命令和特定目标信息等可用的操作细节。

    这些评估帮助我们更好地了解模型的安全防护在对抗性测试中哪些方面经受住了考验,以及哪些方面可能还需要改进。它们只是更广泛模型风险评估的一部分,而不是对攻击性网络能力的独立衡量。

    下图报告了攻击成功率(ASR),即单次尝试成功的比例;同时还报告了攻破率(BSR),即至少有一次成功尝试的情景所占比例。即使单次尝试的成功率很低,持之以恒的攻击者仍可能找到可行路径。

    图 1:本图展示了 Gray Swan 的 Shade 评估结果。图中按类别列出了攻击成功率(ASR)和攻破率(BSR)(越低越好)。图 1:本图展示了 Gray Swan 的 Shade 评估结果。图中按类别列出了攻击成功率(ASR)和攻破率(BSR)(越低越好)。

    间接提示词注入:保障智能体系统安全

    随着 AI 智能体承担越来越重要的任务,间接提示词注入已成为一项关键安全挑战。在企业环境中运行的智能体可能有权访问生产基础设施、敏感凭证、内部代码仓库及其他特权系统。攻击者若能操纵系统日志、检索到的文档或外部内容等信任度较低的输入,就可能诱导智能体泄露敏感数据、修改生产系统或执行未经授权的操作。关键在于,攻击者无须直接访问这些系统:成功的注入会跨越外部内容与授权指令之间的信任边界,利用智能体已有的权限。

    为评估这些风险,我们采用了 Gray Swan 的 Arena 间接提示词注入(IPI)挑战赛。这是一项众包红队测试计划,通过激励安全研究人员来发现 AI 智能体中的漏洞。IPI Arena 挑战赛通过公开竞赛和奖金,动员研究人员针对在涉及编程、工具使用和外部系统的真实环境中运行的智能体,开发新型攻击。在 2026 年 3 月的一场竞赛中,464 名研究人员针对 13 个前沿模型提交了超过 272,000 次对抗性尝试,并在每个受测模型上都发现了成功攻击。Gray Swan 持续针对最新的前沿模型举办新的 IPI 挑战赛,以保持这一基准的时效性。这种方法能够发现固定基准和内部测试可能无法捕捉的多样化攻击策略与失效模式。

    图 2:本图展示了 Gray Swan 在 2026 年第一季度和第二季度开展的公开 IPI Arena 攻击结果。图中报告了尝试 1 次、10 次和 15 次时的攻击成功率(ASR)(越低越好)。

    Reflection 还共同赞助了 Gray Swan 最新一轮公开 IPI Black Arena 挑战赛,支持持续研究提示词注入漏洞与智能体韧性。此外,我们还开发了一项内部 IPI 评估,用于评估 Beam 对嵌入不可信内容中的对抗性指令的易感性;其方法和结果详见我们的 安全技术报告.

    这些工作共同帮助评估智能体安全的一个关键维度:模型能否坚守指令边界,并防止由攻击者控制的内容触发未经授权的操作,尤其是在模型部署后能够访问敏感系统和特权工具的情况下。

    通过对抗性反馈改进模型

    我们与 Gray Swan 的合作不止于评估,还延伸至模型训练。我们将 Gray Swan 的合成越狱数据,以及针对多轮提示词注入和不安全工具调用的智能体工具使用场景,纳入 Beam 的安全强化学习(RL)流程。这些场景被整合进一个涵盖有害、无害及对抗性请求的混合 RL 环境,并由具备上下文感知能力的奖励模型评估 Beam 是否在拒绝有害请求的同时妥善满足合法请求。对于越狱示例,评判模型还会看到原始的有害意图;对于智能体任务,它会看到此前的对话和不安全操作。即使攻击掩盖了真实目的,这些上下文也有助于评判模型判断请求的根本意图。

    这种方法将对抗性测试与模型改进联系起来:评估用于识别潜在失效模式,而对抗性训练数据则有助于提高模型抵御这些失效模式的稳健性。然而,一个方面的改进并不一定能迁移到其他方面。例如,更强的拒绝能力并不代表模型一定能抵御间接提示词注入。我们将这些评估视为相互补充的模型安全衡量方式,用于指导持续的训练与开发,而非据此断言模型能够抵御所有攻击。

    评估奖励破解行为与约束遵循情况

    随着模型的能力和自主性不断增强,它们在追求合法目标时采取有害行动的风险也随之上升。在关键系统中运行、利用漏洞以及处理复杂任务,会带来更多跨越显性或隐性边界的机会,并在发生失效时放大危害。

    为评估 Beam 出现此类奖励破解行为的倾向,我们与 Gray Swan 合作运行了其奖励破解基准。该基准将智能体置于多种真实的编程环境中,为其分配合法任务,并评估它们是否诚实且安全地完成这些任务。对抗性评估通常涉及明确的恶意请求,而奖励破解评估则不同,它关注的是良性任务;在这些任务中,智能体可能受到隐性激励而采取有害的捷径。例如,从配置错误的夺旗赛(CTF)环境沙箱中逃逸、实施方便但不安全的代码修复、向不可信方披露凭证,或利用软件漏洞绕过候补名单并损害其他用户的利益。

    在 44 次实验中,Beam 有 6 次采用了不安全但能够通过测试的修复方案。在夺旗赛任务中,当存在任务范围内的解决方案时,它在全部 5 次实验中均未越界;但当完成任务必须越界时,它在 5 次实验中有 4 次越界。这些小样本结果表明,必须同时评估任务完成情况和约束遵循情况。

    图 3:本图展示了 Gray Swan 的奖励破解评估,以及 Beam 跨越场景既定边界的实验。数值越低越好;由于大多数场景仅包含 5 次实验,因此图中显示的是次数。

    这些评估有助于我们判断模型在追求合法目标时,遵守预期行为规范与约束的可靠程度,尤其是在有害捷径可能更容易帮助其完成任务的情况下。它们还有助于揭示:能力日益增强的智能体是否可能在未收到明确指令的情况下,采取不安全、不道德或可能违法的行动。

    通过持续测试推进安全

    开放访问有助于扩大研究、审查和适配的范围,但也使理解模型的局限性变得至关重要。安全防护措施可能被修改,而智能体部署也会引入新的攻击面。因此,安全评估必须同时考察模型的响应,以及模型在其运行系统中采取的行动。

    我们与 Gray Swan 的合作使我们能够进一步识别失效模式、为安全训练提供参考,并测试智能体是否尊重合法任务的边界。相关发现既展现了进展,也明确了我们致力于推进的后续工作:持续测试、透明报告和部署防护措施,是我们实现让强大 AI 得以广泛普及并更加安全易用这一目标的核心。

    最新文章

    Reflection.ai dotted artwork