AI 热点

Google DeepMind 新论文:智能体攻击群仍能攻破防御最强的模型

Rohan Paul更新于 11月13日 23:27

New Google DeepMind paper shows prompt injection is not solved, since a swarm of strong AI attacker agents still tricks even the best-defended models.

AI 导读

Google DeepMind 新论文显示提示词注入尚未解决,由多个 AI 攻击智能体组成的 Agentic Optimizer 仍能骗过防御最强的模型。该系统由 8 组 AI 智能体组成,会测试注入、共享笔记并迭代彼此的最佳尝试,在 100 个工具调用任务上测试,攻击者只求触发一次随机无害的工具调用。最多尝试 320 次时,最强攻击者在最稳健的 Gemini 4 Argon 上攻破 34% 的任务,而开源权重模型 Kimi K3、GLM-5.3 和 DeepSeek-V4.1-Flash 仅抵御住 1% 的任务。

推荐理由

AI 评分 73

论文用多智能体协同攻击测试提示词注入,给出最强攻击者与各模型的具体成功率对比。

主题

标签

正文 · AI 翻译

Google DeepMind 的新论文表明,提示词注入问题尚未解决,因为由多个强大 AI 攻击智能体组成的群体仍能骗过防御最强的模型。

提示词注入是指把指令隐藏在 AI 智能体读取的数据中(例如工具返回结果),从而让智能体按攻击者的意图行事。如今,人工红队攻击在近期的 Gemini 模型上几乎从不奏效,因此这个问题看起来像是已经解决了。

他们构建了 Agentic Optimizer,由 8 组 AI 智能体组成,这些智能体会测试注入、共享笔记,并在彼此最佳尝试的基础上继续迭代。他们在 100 个工具使用任务上进行了测试,攻击者只希望触发一次随机且无害的工具调用。

在最多 320 次尝试的情况下,最强的攻击者在最稳健的模型 Gemini 4 Argon 上攻破了 34% 的任务。开源权重模型 Kimi K3、GLM-5.3 和 DeepSeek-V4.1-Flash 仅抵御住了 1% 的任务。

来源

Rohan Paul