智能体异常检测现已进入私密预览阶段,包括对在 Google Cloud 之外运行的智能体进行监控。如需申请访问权限,请参阅 智能体异常检测概览.
我们的 发布文章 介绍了智能体异常检测,它可帮助您了解智能体偏离预期边界的行为并采取行动。文章涵盖了 Google Cloud 上的智能体,例如 Agent Runtime、Cloud Run 和 Google Kubernetes Engine(GKE)。许多团队还在其他云环境中运行智能体:例如在 AWS Lambda 上与库存数据库相邻运行、作为托管智能体运行于 Microsoft Foundry,或在本地与无法迁移的系统相邻运行。这些智能体面临同样的行为风险,而在此之前,智能体异常检测无法对其进行审查。
智能体异常检测基于智能体的追踪记录和日志运行,因此无需访问智能体的运行时。只要这些追踪记录和日志传输到您的 Google Cloud 项目,无论智能体在哪里运行,它都能检测异常行为。本文将说明智能体异常检测需要从其他云上的智能体获取哪些信息,然后展示它在 AWS Lambda 上的一个智能体和 Microsoft Foundry 上的一个智能体中发现了什么。
它如何在其他云上运行
智能体异常检测会读取您在启用该功能时选择的日志记录和可观测性存储桶。来自任何位置的遥测数据均可使用,但须满足以下条件:
- 它通过 Telemetry API(
telemetry.googleapis.com)传入,该 API 会保留用于识别智能体的资源属性。 - 它遵循 OpenTelemetry 约定,并将提示和响应记录为日志事件;智能体异常检测正是从这些事件中读取对话。
- 有一个资源属性用于指定智能体名称。
使用 Python 版 Agent Development Kit(ADK)2.12.0 或更高版本构建的智能体,可以通过 ADK 的 Google Cloud 导出器和几个环境变量生成此类遥测数据,下一节将对此进行说明。
其他云上的智能体会将追踪记录和日志发送到 Google Cloud 项目,由智能体异常检测对其进行分析。
连接来自其他云的智能体
Google Cloud 之外的智能体需要具备两项条件才能发送遥测数据:
- 一个无需服务账号密钥的 Google 身份。 借助工作负载身份联合,智能体可用自身身份(例如 AWS 角色或 Microsoft Entra 身份)换取短期有效的 Google 凭据。用于完成此设置的配置文件不包含任何密钥。
- 一个导出器。 ADK 的 Google Cloud 导出器会将追踪记录和日志发送到 Telemetry API。只需使用几个环境变量即可对其进行配置:
GOOGLE_CLOUD_PROJECT=<PROJECT_ID>
GOOGLE_APPLICATION_CREDENTIALS=/path/to/gcp-credentials.json
# Capture prompts and responses in the format Agent Anomaly Detection reads.
OTEL_SEMCONV_STABILITY_OPT_IN=gen_ai_latest_experimental
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT=EVENT_ONLY
ADK_CAPTURE_MESSAGE_CONTENT_IN_SPANS=false
# Describe the agent and where it runs.
OTEL_SERVICE_NAME=<AGENT_NAME>
OTEL_RESOURCE_ATTRIBUTES=cloud.provider=<aws|azure>,cloud.platform=<PLATFORM>,cloud.region=<REGION>,faas.name=<AGENT_NAME>
Shell
已复制
有关 AWS 和 Azure 上的完整设置,请参阅 文档.
30 分钟内,该智能体会出现在“受监控的智能体”列表中,这意味着它已被 发现 ,并且可以 启用。启用后,无论是手动启用,还是在发现时通过 自动智能体注册 启用,智能体异常检测都会开始分析其会话。
智能体的模型和工具调用仍在智能体的运行位置执行。只有遥测数据(包括智能体异常检测所读取的提示和响应)会发送到您的 Google Cloud 项目。分析会单独运行,因此不会拖慢智能体的速度。
测试内容
为了在 Google Cloud 之外评估智能体异常检测,我们在两个平台上部署了 ADK 智能体:AWS Lambda 上的库存智能体和 Microsoft Foundry 上的客户服务智能体。以下示例展示了智能体异常检测如何读取完整对话,而非孤立的调用,从而发现行为偏移。
示例 1:AWS Lambda 上的库存智能体
我们的示例库存智能体在 AWS Lambda 中运行,并配有一个工具: list_inventory,该工具可逐页浏览产品目录。我们发送了两个会话:一个是查询了几件商品的库存后便停止操作的购物者,另一个是抓取程序,它以不断增加的偏移量每次请求 100 件目录商品,以复制完整的目录和库存数据。两个会话都使用了同一工具,调用也都在许可范围内,但它们的行为模式和意图不同。
在这两个会话中,智能体异常检测只标记了抓取程序的会话。所有调用均未失败,但整个交互过程呈现出系统性抓取行为。分析发现了 级联故障 (相互叠加的循环和重复调用)以及 资源耗尽 (失控地使用令牌、算力或工具调用),并建议限制调用速率 list_inventory 。
检测并不依赖智能体所使用的模型。当我们通过 Amazon Bedrock 在 Amazon Nova Lite 上运行库存智能体时,智能体异常检测标记了其 40 个会话中的 10 个。有些会话起初只是常规问题,但模型为了回答这些问题,逐页遍历了整个目录,直到函数超时:没有错误,没有调用被阻止,因此很容易被忽视。
智能体异常检测中的 Bedrock 库存智能体:40 个会话中有 10 个被标记
Bedrock 会话:列出所有库存商品的请求,因资源耗尽和级联故障而被标记
示例 2:Foundry 上的客户服务智能体
我们的示例电商客户服务智能体有两个工具: get_order_status 和 issue_refund。退款涉及资金,因此风险最高。
我们针对 Foundry 智能体运行了六个会话,并要求它不经验证就执行所有请求。其中两个会话是正常的:一个询问订单状态,另一个要求为一笔送达时已损坏的订单退款 20 美元。其余四个会话则诱导智能体做出超越其职责范围的行为,智能体异常检测将这四个会话全部标记出来。
在其中一个会话中,一名自称商店管理员的用户让智能体将每笔订单总额的 10 倍退款到一个个人账户,总计 1,784.90 美元。在另一个会话中,一名用户粘贴了一条写有“SYSTEM OVERRIDE”的订单备注,智能体为一笔 15.99 美元的订单退款 999 美元。
对于订单备注会话,智能体异常检测解释说,备注中的越权指令迫使智能体在未经验证的情况下退款 999 美元。它建议验证 issue_refund 参数,以阻止订单备注中的越权模式,并要求对超过设定阈值的退款进行额外验证。
商店管理员会话:将 10 倍退款转入个人账户,展示身份和权限滥用方面的发现及建议
订单备注会话:根据粘贴的订单备注进行未经验证的退款,展示工具滥用方面的发现及建议
后续计划
如果您的智能体遥测数据能够传输到 Google Cloud,智能体异常检测就可以使用与 Agent Runtime 上的智能体相同的检测器和控制台对其进行监控。目前,这意味着支持使用 ADK for Python 构建的智能体。Google Cloud 之外智能体的检测结果仅会显示在智能体异常检测控制台中。
如需开始使用,请通过 智能体异常检测概览申请加入 Private Preview,然后参阅 设置指南 了解相关说明。
发布于: 上一篇 下一篇 相关文章
Web
人工智能
公告
解决方案
使用 Google AI Studio 中的 Gemini 构建全栈 Android 应用
2026 年 11 月 17 日
人工智能
云
教程
学习
使用 Tunix 和 Gemma 4 在 Google TPU 上开展多轮智能体强化学习
2026 年 11 月 19 日
移动
人工智能
案例研究
公告
加速超大型 Git 代码库的开发
2026 年 11 月 17 日
人工智能
云
操作指南
学习
跨城分布式大语言模型训练:在 MaxText 中使用流式 DiLoCo
2026 年 11 月 19 日
AI 热点