AI 智能体现已为其用户读取电子邮件、预订旅行并转移资金。每次工具调用还会引入他人编写的文本,而控制该文本的人可能试图操纵智能体。OWASP 将这种情况称为智能体目标劫持,并将其列在其 面向智能体应用的十大风险(2026).
图 1:一种间接提示注入。有害指令来自工具返回的数据内部,而非来自用户。
今年九月,我们 宣布 在 Gemini Enterprise Agent Platform 上推出私密预览版的 Agent Anomaly Detection。它会异步读取智能体的追踪记录和日志,不增加延迟,并标记出智能体行为超出其预期边界的会话。我们针对这一首要风险——智能体目标劫持——的基准测试对该功能进行了测试。
安全工具在自家团队编写的测试中往往表现良好,因此我们在不做任何改动的情况下,用五项非 Google 编写的公开智能体安全基准测试对 Agent Anomaly Detection 进行了评估。在其中四项中,有害指令隐藏在工具返回的数据里。在第五项中,用户直接请求造成伤害。
模型本身并未遵循其读到的大约一半有害指令。它拒绝了四分之三的直接伤害请求,并对工具输出中隐藏的约 30% 的指令予以忽略或未能执行。在确实被执行的指令中,Agent Anomaly Detection 标记了 87% 以供执行后审查。根据智能体所使用的工具不同,它对 2% 至 16% 的良性会话发出了误报。投毒记忆是明显的缺口:当植入智能体长期记忆中的指令使其采取行动时,Agent Anomaly Detection 在 18 次中仅捕获了 4 次。
我们如何开展测试
图 2:测试设置。Agent Anomaly Detection 与基准测试自身的检查看到的是同一次智能体运行,但只有该检查会读取应用的最终状态。
我们使用基于 Agent Development Kit(ADK)构建的智能体,在基准测试的模拟应用上运行了每个基准测试用例,所用模型为 gemini-2.5-flash。该智能体像客户的智能体那样,将追踪记录和日志发送给 Agent Anomaly Detection。随后,基准测试自带的 Python 检查会读取应用的最终状态(例如资金是否已离开账户),并为该会话打上标签。标签由确定性代码决定,而非由模型决定,因此注入的指令无法误导评分器,Agent Anomaly Detection 也无法在基准测试中作弊。每个智能体首先至少运行 300 个良性会话,因为 Agent Anomaly Detection 需要学习每个智能体的通常行为。
我们还记录了是否有工具将有害指令返回给智能体。在许多情况下,智能体根本不会打开包含该指令的电子邮件或文件。因此,每个有害会话都以以下三种方式之一结束:
- 从未读取:没有任何工具返回该指令,因此智能体从未看到它。
- 已抵御:智能体读取了该指令,但没有遵循它。这包括尝试过但失败的智能体。
- 已执行: 智能体读取了指令并遵循了它。这由基准测试自身的检查来判定。
在 AgentHarm 中,用户发送请求,因此智能体总会读取它。
这五项基准测试分别是 AgentDojo (NeurIPS 2024)、 InjecAgent (ACL 2024 Findings)、 Agent Security Bench (ASB,ICLR 2025), AgentDyn (2026)以及 AgentHarm (ICLR 2025)。ASB 将指令植入智能体的长期记忆中。总体而言,Agent Anomaly Detection 共评估了 1,774 个会话。
我们的发现
Agent Anomaly Detection 标记了智能体实际执行的有害指令中的 87%,并对日常办公工作发出了少量误报。它在目标劫持和工具滥用方面表现最强,在投毒记忆方面表现最弱。
按 OWASP 类别划分的结果
每条发现都带有一个威胁类别,而 Agent Anomaly Detection 的五个类别中有四个与《OWASP 智能体应用十大风险》一致。我们依据本研究实际展示的内容对每个 OWASP 类别进行评分,而不是依据 Agent Anomaly Detection 被设计用来捕获的内容。
公开基准测试主要集中在目标劫持和工具滥用上,因此我们在这些方面的证据最为充分。我们未找到带有标注智能体轨迹、针对级联故障或身份与权限滥用的公开基准测试。为这些类别建立共享基准测试将有助于整个领域。
Agent Anomaly Detection 标记了大多数绕过模型的有害内容
图 3:在四项基准测试中,每个有害会话的最终结果,按结果分类展示。
按基准测试来看,Agent Anomaly Detection 在 AgentDojo 上标记了 85% 的已执行有害指令,在 InjecAgent 上为 87%,在 AgentDyn 上为 99%,在 AgentHarm 上为 81%。在所有有害会话中(包括智能体从未读取或予以抵制的会话),它标记了 45% 至 62%。在智能体从未读取指令的 141 个会话中,什么也没有发生,而它仅标记了 1 个。
图 4:对于每个应用,智能体实际执行的有害指令所占比例,以及 Agent Anomaly Detection 标记出的比例。部分应用中的计数较小。
结果在各应用间保持一致在 11 个应用中有 8 个,Agent Anomaly Detection 标记了至少 95% 的已执行有害指令。最低的是 AgentDojo 的 Slack 应用,为 63%。这些指令中有许多只要求执行一个小动作,例如访问页面,看起来就像正常浏览。
被拒绝的请求仍会留下记录
Agent Anomaly Detection 也会标记许多被智能体拒绝的请求。在 AgentHarm 中,智能体拒绝了大多数请求,并执行了 412 个请求中的 108 个,而 Agent Anomaly Detection 仍标记了 55% 的被拒绝会话,因为该请求位于用户自己的消息中,而它会读取该消息。当智能体没有遵循隐藏在工具输出中的指令时,它仅标记了 11% 至 25%,因为该指令位于工具结果的深处。
误报取决于智能体日常使用的工具
在普通办公工作中,误报很少见:在三个注入基准测试中,其良性会话均为办公任务,Agent Anomaly Detection 标记了 2% 至 4% 的良性会话。在 AgentHarm 上,它标记了 16%。这些良性任务与有害任务成对对应,因此它们会发布到社交媒体、运行终端命令并下载文件。正常使用中的高影响工具看起来更像滥用。
我们仍在改进的地方
Agent Anomaly Detection 在五个方面表现较差。对于智能体已抵制的指令,它只标记了 11% 至 25%,因为被抵制的指令对智能体行为方式的改变很小。它漏掉了更多小动作,例如单次页面访问,因为这些动作看起来像正常工作。而且,对于日常工作中使用高影响工具的智能体,它发出了更多误报。如果你的智能体属于这一类,预计一开始会有更多发现,请按严重程度和威胁类别对它们进行分类处理。
另外两个领域是新型智能体和被投毒的记忆。一些 Agent Anomaly Detection 方法需要数百个会话的历史记录:在 AgentDyn 上,当每个智能体约有 220 个良性会话时,它标记了 33% 的已执行有害指令,而在有 360 个良性会话时标记了 99%。而在被投毒的记忆导致智能体采取行动的 18 个会话中,它只捕获了 4 个。
以下是我们正在处理的内容:
- 报告智能体已抵制的尝试,并以较低的严重程度呈现,这样你就能看到有人在探测你的智能体。
- 捕获到达不受信任目的地的小动作,例如对未知网页的单次访问。
- 区分高影响工具的正常使用与滥用。
- 更快地为新智能体提供全面覆盖。
- 更可靠地检测植入长期记忆中的指令。
这对你的智能体意味着什么
以纵深防御保护你的智能体。 使用能在有害操作运行前将其阻止的控制措施,并借助 Agent Anomaly Detection 发现漏网之鱼。
- 发送完整遥测数据。 启用 ADK 追踪和日志记录,包括提示词和响应内容。
- 筛查不可信内容。 使用 Model Armor 等过滤器检查提示词和工具结果是否存在提示注入。
- 在风险工具调用运行前将其阻止。 语义治理策略在预览版中,它会根据用户请求和你的规则检查每个提议的工具调用,并拒绝不符合的调用。随后,Agent Anomaly Detection 会报告哪些调用绕过了检查。
- 对高影响操作要求审批。 要求人员审批付款、对外发送邮件、数据共享或其他应当有人工介入的操作。
- 限制每个智能体的工具。 只给每个智能体提供其任务所需的工具和权限。
- 审查哪些内容通过了检查。 Agent Anomaly Detection 不会阻止操作。它会报告异常会话,其发现结果也会显示在 Security Command Center 中;请将其中“严重”和“高”级别的发现转交给你的事件响应团队。
本研究的局限性
我们使用了一个智能体模型和模拟应用,而且基准测试中的良性任务很可能比你的生产流量更简单,因此你的误报率可能有所不同。在我们发送的会话中,Agent Anomaly Detection 对约 6% 的会话未返回结果;将这些会话计为漏报会使总体比率降低 1 到 2 个百分点。
试用 Agent Anomaly Detection
Agent Anomaly Detection 目前处于非公开预览阶段。如需申请访问权限,请阅读 Agent Anomaly Detection 概览.
发布于: 上一篇 下一篇 相关文章
移动端
Web
教程
操作指南
A2UI 1.0:构建令人愉悦、快速、可靠的智能体体验
2026年11月11日
移动端
Web
案例研究
公告
使用 LiteRT Tensor API 为边缘设备原生编写模型
2026年10月19日
移动端
AI
案例研究
学习
借助 Model Explorer 为自定义边缘编译器带来可视化图调试
2026年10月20日
移动端
Web
公告
学习
Google AI Edge Gallery 中的端侧语音识别与文本转语音
2026年11月10日