AWS 发布开源跨框架智能体评测框架 UAEF
AWS Details UAEF for Cross-Framework AI Agent Evaluation
AWS 于 2026 年 11 月 11 日发布 Universal Agent Evaluation Framework(UAEF)技术介绍,这是一个 Apache-2.0 开源系统,用 36 项内置指标、七个维度评测 AI 智能体。UAEF 通过适配器把 LangGraph、LangChain、Strands Agents 和 Amazon Bedrock AgentCore 的消息、工具调用与交接统一为 AgentTrace,使评测在框架切换后仍可比较。评测结果以 experiment 形式存入 DynamoDB 和 S3,对比引擎按默认 5% 阈值区分改进与回归,但基于 Bedrock 的评判与存储功能需要 AWS 凭证。
正文 · AI 翻译
AWS 于 2026 年 11 月 11 日发布了一篇关于 Universal Agent Evaluation Framework(UAEF)的技术介绍,这是一个采用 Apache-2.0 许可证的开源系统,使用横跨七个维度的 36 项内置指标来评测 AI 智能体。
UAEF 旨在使评测在 LangGraph、LangChain、Strands Agents 和 Amazon Bedrock AgentCore 之间保持可比性。这些框架记录消息、工具调用和智能体间交接的方式各不相同,因此与某一种格式绑定的评测代码在框架变更后可能需要新的指标、评分逻辑和结果存储。这使得判断对提示词、模型或工具的更改是否改进了智能体变得更加困难。
AWS 报告称,来自电信、医疗和金融服务领域 12 个组织的客户使用 UAEF 应用一致的指标,并在发布前比较智能体版本。awslabs/uaef 仓库包含 Python 库、框架适配器、指标、AWS 部署基础设施、Web 界面和可运行的 notebook。
规范化追踪实现共享评分
适配器将每个智能体的消息、工具调用和交接规范化为一个规范的 AgentTrace,这是评分引擎唯一使用的表示形式。UAEF 可以适配来自过往运行、日志或可观测性存储的现有追踪,也可以通过运行时 Amazon Resource Name 或 HTTP 端点调用智能体并转换生成的执行过程。通用 JSON 适配器可将该流程扩展到自定义框架。
指标目录将内置指标分为工具调用、响应质量、负责任 AI、性能、多轮对话、多智能体协调和推理。评分采用归一化的 0 到 1 量表,其中 1 为最佳。确定性指标直接从追踪和标准答案计算,而 LLM-as-a-judge 指标则使用 Amazon Bedrock 上的模型来评估相关性和安全性等质量。还支持自定义指标以及 RAGAS 和 DeepEval 集成。
标准答案整体上是可选的,尽管参考比较类指标需要它们。工具调用评测还可以定义预期工具、其顺序及其参数。当某项指标缺少必要输入时,它会返回无评分并给出警告,该空结果会从维度平均值中排除,而不是计为零。因此,部分标注的数据集和未标注的生产流量仍可使用其输入可用的指标进行评测。
存储的实验揭示回归
持久化的评测会变为实验。Amazon DynamoDB 存储用于列出和比较的元数据,包括评测次数和平均分数,而 Amazon S3 保存包含各指标分数和评判理由的完整 JSON 结果。单次运行可以记录框架、模型、工具、系统提示词、参数、配置快照和 Git 提交,从而将每个分数与受测的智能体设计关联起来。UAEF 在存储前会筛查追踪中的个人信息,并且可对已存储的结果进行脱敏。
对于两次运行共享的指标,比较引擎会计算相对于基线的绝对变化和百分比变化。可配置的阈值(默认设为 5%)区分改进、回归和未变化的结果;回归分为轻微、中等或严重,并按维度分组。这种分组可以显示提示词修订是否影响了工具调用而未改变响应质量。
报告将可复现的统计与模型生成的解读分开。Web 界面显示每个测试用例和每个维度的结果,可选的统计报告涵盖分数分布、置信区间、离群值、指标相关性和失败的测试用例,且不使用 LLM。单独的 Bedrock 生成分析可以为单次运行或比较提出根本原因和优先的后续步骤。
Python 库和低代码 Web 服务使用相同的评测引擎和存储。团队可以在 notebook、脚本和持续集成与持续交付流水线中运行评测,也可以通过浏览器运行,而无需改变结果的评分和比较方式。
AWS 依赖与隔离边界
安装指南要求 Python 3.10 或更高版本以及 uv 包管理器。基于 Bedrock 的评判和 DynamoDB/S3 持久化需要 AWS 凭证,因此使用这些评判和存储功能的团队即使其智能体使用不同框架,也仍与 AWS 服务保持连接。
UAEF 将被评测智能体的输出视为评判提示词的不可信输入。它单独发送评分标准、转义内容、严格解析评判响应,并在接受分数前要求逐字证据片段。AWS 表示,评判分数不应作为安全控制的关卡;运行时强制执行应属于单独的 Amazon Bedrock Guardrails 调用路径。
该仓库将 UAEF 描述为一种参考架构,设计为在提供用户和租户隔离的平台内运行。不支持在没有该宿主强制执行的情况下直接进行多租户部署。每个租户需要单独部署,拥有自己的 AWS 账户,或至少拥有自己的堆栈、DynamoDB 表、S3 存储桶和 Cognito 用户池。
对于运行多个智能体框架的企业,UAEF 提供了一个稳定的评分基线,可以经受提示词、模型、工具或实现的变化。实现这种连续性需要的不仅仅是安装该库:有用的比较取决于合适的指标和数据集,而多租户使用取决于 UAEF 之外提供的隔离。