人工智能
从原型到生产:用 Agent DLC 工程化智能体过去一年里,AI 智能体已从探索阶段迈入工程化阶段。企业团队正在交付能够调用工具、编排 API 并基于内部知识回答问题的 大语言模型(LLM)系统。
一个成功的演示可以展示智能体的能力。但在发布之前,团队还需要回答另一个问题:“这个智能体是否已准备好投入生产?” 负责该决策的人需要证据,证明智能体满足既定要求。
为了持续做出这一决策,团队需要一种可重复、成本可承受的方式,来评估智能体当前的行为,以及最新改动是否改善了它。
在传统软件开发中,团队通过单元测试、持续集成与持续交付(CI/CD)以及构建通过来回答这些问题。这些机制对智能体而言是必要的,但并不充分,原因有三点,每一点都需要额外的检查。本文阐述这三个特性,并给出一个经过度量的案例,说明聚合指标如何掩盖了覆盖问题。随后介绍智能体开发生命周期(Agent DLC):一个生命周期、两个循环,以及一套用于评判每次改动的单一明确标准。
关于术语的说明: 在本文中, 黄金标准 指的是一个特定的产物:一组可验证的标准、它们的阈值,以及用于检验这些标准的已批准示例。业务负责人批准该标准,作为验收决策的依据。
1. 智能体需要额外工程实践的三个特性
传统软件测试和 CI/CD 仍然适用于智能体,但有三个特性需要额外的检查。第一,智能体是非确定性的:相同的输入可能产生不同的输出和执行路径。第二,对提示词、工具描述、检索设置或记忆配置的更改,可能以仅靠文本审查无法揭示的方式改变行为。第三,模型端点、知识库和外部 API 可能独立于代码仓库发生变化,并影响智能体行为。表 1 总结了应对每个特性所需的工程实践。
表 1. 每个特性使什么失效,以及它转而要求什么。
| 特性 | 传统答案 | 为何它不够用 | Agent DLC 需要什么 |
| 非确定性 | 在 CI 中每个用例一条断言 | 只测量分布中的单个样本。通过或失败的原因与你的改动无关 | 将每个示例运行 k 次。依据通过率和失败分布进行评判 |
| 提示词即源代码 | 审查差异,批准变更 | 行为无法仅凭提示词文本判断 | 每一次提示词、工具、检索和记忆的变更都附带评估并纳入版本管理,且保留其谱系 |
| 依赖会自行变化 | 固定版本,在升级时进行验证 | 不会触发,因为你的仓库中没有任何变更 | 按计划重新运行标准,并在偏离基线时发出告警 |
2. 一个经过度量的示例:高检索精度可能掩盖信息缺失
以下示例展示了指标选择如何影响诊断。
我们构建了一个参考实现来端到端地验证该方法:一个内部政策助手,在文档知识库上回答人力资源政策问题。我们选择了一个范围狭窄、界定清晰的领域,以便评估和诊断过程易于理解。以下结果是在该参考实现上测得的。它既不是客户成果,也不是基准测试结果。
以下示例展示了指标选择如何影响诊断。 配套的 AWS Samples 仓库 包括基础设施部署、HR 智能体、自定义评估器,以及用于基线评估和提示词变更后重新评估的脚本(09-run-eval.sh 以及 10-optimize-prompt.sh)。它还包括可选的检查项,用于判断评判器的可重复性、模型对比、成本和延迟。这些脚本可复现该工作流。分数可能因运行次数和仓库版本不同而有所差异。
三个黄金问题,每个问题各含五项衡量指标:
- 有据性:将答案拆解为若干主张,并逐一对照检索到的来源进行核查。
- 块级来源精度每个检索到的块作为一个整体,对于这个问题是否必要?
- 事实级来源精度:将每个块分解为单独的事实,并检查每个事实是否必要。
- 检索覆盖率对于每个子问题,是否有任何检索到的块能够回答它?
- 响应精度在答案的各项主张中,有多少是必要的?
表2. 第一轮评估。在参考实现上测得。并非客户成果。
| 问题 | 有据性 | 块级精度 | 事实级精度 | 检索覆盖率 | 判定 |
| 绩效评估 | 0.83 | 1.00 | 0.59 | 1.00 | 通过 |
| 福利登记 | 0.90 | 1.00 | 0.53 | 1.00 | 通过 |
| 病假证明 | 0.39 | 1.00 | 0.09 | 0.00 | 未通过 |
三个问题的块级精度均为 1.00。仅基于这一指标的发布门禁会接受全部三个答案。
事实级精度则呈现出另一番景象:0.59、0.53、0.09。对于第三个问题,检索到的材料中约九成事实与所问内容无关。块级精度只考察一段文本是否切题,并不衡量该文本中有多少内容是相关的。
然后我们只改变了一件事:系统提示词。我们添加了三条约束:严格基于检索到的内容、忽略不相关的检索内容、保持答案聚焦。智能体、知识库、评估器和问题均未改动,因此前后对比只差一个变量。
表3. 仅更改提示词之后。一次更改,两种相反的结果。
| 绩效评估,之前 | 绩效评估,之前 | 病假证明,之后 | 病假证明,之前 | |
| 有据性 | 0.83 | 0.87 | 0.31(仍未通过) | 0.31(仍未通过) |
| 事实级精度 | 0.59 | 0.85 | 0.09 | 0.04 |
| 响应精度 | 0.58 | 0.73 | 0.33 | — |
第一个问题大幅改善。第三个问题则变得更糟。
评估指出了在做出改动之前应当调查哪些地方。再看表2的第三行:块级精度1.00,事实级精度0.09,检索覆盖率0.00。这些分数合在一起表明存在知识覆盖问题:检索到的材料名义上与主题相关,但并没有回答问题。告诉模型“严格基于检索内容作答”无法补上缺失的信息。
我们对照实验中使用的源文档核查了这一诊断。语料库缺少专门的病假政策文档,尽管休假管理政策中简要提及了病假。下一步是解决政策覆盖问题,然后再检查检索,而不是继续修改提示词。
在这种情况下,源材料缺少回答该问题所需的信息,因此仅靠修改提示词无法解决这一失败。
在这个例子中,评估帮助确定了在进一步改动之前需要调查哪些问题。
另一个结果说明了为什么有据性需要与其他标准一起检查。福利登记的答案以0.90的有据性通过,并且它包含这样一句话: “我还从你的个人资料中注意到,你偏好的联系方式是社交媒体。” 不存在这样的个人资料。
政策文档将联系方式偏好列为某个流程步骤中的一个选项。公开的、众包的、嘈杂的FAQ语料库中包含一对问答,用“社交媒体”回答了该问题。模型将一个政策选项与一个不相关的FAQ答案组合在一起,并将其作为关于用户的事实呈现出来。高有据性分数并没有发现这一虚假的个人声明。通过质量阈值并不能证明责任约束已经得到满足。
这些分数在不同运行之间可能有所变化,原本处于临界状态的“通过”也可能变成“失败”。应结合重复运行和底层证据来解读分数差异。第5节讨论了如何检查评估器的可靠性。
这个小型参考实现示例说明了评估如何能够指导诊断。它并不能确立普遍的改进率,也不能验证生产发布。
3. Agent DLC:一个生命周期,两个循环
Agent DLC 围绕一个明确的黄金标准连接六项活动: 定义, 构建, 评估, 发布, 观察,而 反馈.
评估驱动开发已在先前的工作中得到描述,其中包括Xia等人的 LLM 智能体的评估驱动开发:一个过程模型与参考架构Agent DLC 通过六项活动将这一方法应用于交付,并配有明确的验收条件、发布权限和证据要求。
以验收为先的方法也出现在 Fotor 发布的 AWS 客户案例研究团队在迁移到 AgentCore 运行时(Amazon Bedrock AgentCore 的一项能力)之前,先定义了可扩展性、成本、隔离性和架构灵活性标准,然后根据运行数据验证了这些变更。该案例报告称,工作流开销从分钟级降至秒级(不含模型推理),并支持数千个并发活动会话。它记录了由 Agent DLC 指导的架构交付过程。质量评估被确定为下一步工作。
定义将业务目标转化为标准、阈值和已批准的示例。构建设计必须满足这些要求的提示词、工具、上下文、记忆和运行时机制。评估产出证据,说明候选版本是否满足这些要求。当满足时,该版本进入受控发布。观察在生产环境中对其进行监视。反馈将生产中学到的内容返回给定义。
图1:Agent DLC 的六项活动均与位于中心的黄金标准相关联。定义负责产出它,构建遵循它,评估使用它。发布对照它进行检查,观察复用它,反馈对它进行迭代。该标准的五个维度列于下方
图1展示了每项活动如何使用或更新该标准,从而明确其在开发与发布中的作用。
在这个外层循环内部,运行着一个更快的内部循环: 评分 → 检查路径 → 改动一处 → 重新评估。 它针对一个候选版本运行,并回答两个问题:在哪里改,以及这次改动是否有帮助。
这两个循环承担不同的职责,而这一区别至关重要。 内层循环 会依据固定标准改进智能体。 外层循环 让标准发生变化。在开发过程中发现智能体在未检查库存的情况下推荐产品,这属于内层循环问题。假设生产用户要求智能体代家人查询信息,但没有任何标准覆盖这种情况。这就需要外层循环:定义授权边界并添加示例。然后用内层循环来满足更新后的标准。
混淆两者会导致团队试图通过修改提示词来弥补缺失的验收标准。团队也可能在改进周期中放宽标准,从而无法判断究竟是哪项改动提升了评分。
两个循环都会构建可复用资产:业务标准、已批准的示例、评估器,以及过去失败处理方式的记录。这些资产的生命周期长于模型和框架。当你更换模型时,要用相同的标准和示例来评估替代模型。
接下来的四个小节将说明如何定义 好 以便对其进行检查(第4节),并依据该标准改进智能体(第5节)。随后,他们介绍了如何通过生产反馈更新该标准(第6节),以及如何设计架构以提供评估证据(第7节)。
4. 定义“好”:五个维度,三个层级 好:五个维度,三个层级
从由所有者定义的业务成果开始。对于推荐智能体,这可能是:“向回头客推荐合适的产品,同时保护他们的信息。”将这一需求转化为跨五个维度的可验证标准。
表4. 定义标准时应考虑全部五个维度。
| 维度 | 关键问题 | 关注领域 |
| 领域理解 | 它真的理解你的业务吗? | 术语、别名、多跳关系、企业内部知识 |
| 质量 | 它在整个过程中是否正确、完整且一致? | 正确性、完整性、一致性、对引用的支持 |
| 责任 | 是否处理了权限、边界、合规性和可审计性? | 未授权访问、信息披露、合规硬性约束、可追溯性 |
| 成本 | 每次运行的成本是多少,在规模化时是否仍然经济? | Token 消耗、评估器成本、冗余步骤 |
| 性能 | 它是否快速、稳定,并且能够承载负载? | 延迟、吞吐量、稳定性、可用性 |
对于每项标准,要明确它如何被验证以及由谁批准。“它必须准确”是一个目标。“每一条事实性陈述都必须可追溯到检索到的来源”则是可验证的。业务专家应批准那些能让预期行为具体化的示例。
表5. 标准分为三个层级。决定某项标准是否会阻止发布的,是层级,而不是维度。
| 层级 | 是否阻止发布? | 如何表达 | 硬约束是,按每次运行评估布尔值,披露其他客户的信息。发布门禁是,在满足之前,以 k 次运行的通过率阈值为准,至少 95% 的引用条款可追溯到来源。仅监控则否,跟踪并审查,后续再提升。语气适当性,直到其评估器完成校准。为每项标准分配各自的层级,并在适用时分配阈值。绝不要让其他方面的高分抵消硬约束违规。在推荐示例中,推荐质量是一个相对 |
| 硬约束 | 是,按每次运行评估布尔值,披露其他客户的信息 | 布尔值,按每次运行评估 | 披露其他客户的信息 |
| 发布门禁 | 在满足之前 | 在 k 次运行中的通过率阈值 | 至少95%的引用条款可追溯到来源 |
| 仅监控 | 否 | 跟踪并审查,后续再提升 | 语气适当性,直到其评估器完成校准 |
为每项标准分配各自的层级,并在适用时分配阈值。绝不要让其他方面的高分抵消硬约束违规。
在推荐示例中,推荐质量是“质量”维度下的一项发布门禁,而保护其他客户的信息则是“责任”维度下的一项硬约束。一个业务需求会在不同维度和层级上产生多项标准。应依据每项标准各自的验收条件对其进行评估。
这些标准也决定了系统必须暴露哪些证据。下一节将利用这些证据来改进智能体,并决定是否发布它。第 7 节说明证据要求如何塑造架构。
5. 内层循环:评估、诊断与改进
评分。将评估器与标准匹配。对于无歧义的规则使用代码,对于成本和延迟使用运行时遥测,对于容量和可用性使用负载测试和运行数据。对于需要判断的标准使用基于模型的评判器,并以人工审核的示例进行校准。在评估信息保护时,除了检查禁止字段外,还要包含授权和跨用户隔离测试。将每个示例运行 k 次以评估可变行为。
对于基于模型的评判器,重复评估以衡量评分波动,并将其判断与人工审核的示例进行比较。微小的分数提升需要有支持性证据,才能算作改进。
检查路径。在三个层级定位失败:会话、轨迹和步骤。如果某条推荐暴露了电话号码,就沿着受影响的会话追踪到响应组装环节,并检查个人资料字段是在哪里进入草稿的。正如第 2 节所示,原因可能位于可见症状的上游。
改变一个因素,然后重新评估。纠正已识别的原因,并在相同条件下对照未改变的标准重复评估。验证披露已停止,且推荐质量仍满足其门禁。
针对每种任务类型(或意图)分别评估发布就绪情况。只发布那些满足其标准的意图;对于未发布的意图,其任何回退方案也必须满足约定的发布条件。
表 6. 按维度、层级和意图划分的发布决策。
| 电网状态 | 决策 |
| 任何硬约束未通过 | 不要发布。 |
| 所有硬约束均通过,但有一个或多个发布门禁未满足 | 除非事先批准了有限推广并明确了保障措施和停止标准,否则不要发布受影响的意图。否则,将其转交给人工处理。 |
| 所有硬约束均通过,且所有发布门禁均已满足 | 完整发布。 |
有限范围的推广需要事先约定验收条件、保障措施和停止标准,然后才能进行评估。它不能推翻硬性约束,也不能在结果失败后降低阈值。
发布前,将受阻和被拒绝的请求纳入评估,检查每个请求是否按预期处理。记录标准、阈值、评估器版本和发布决策,以便团队追溯某个版本获批的原因。
通过这些检查即可支持在已测试范围内发布。随后,生产监控会检查智能体在使用情况和依赖变化时是否持续符合标准。
6. 外层循环:保持数据持续流动
从首次测试请求开始记录执行轨迹,以便在开发和生产环境中诊断故障。对生产环境中的交互进行采样和评估以识别故障,然后与业务负责人一起审查这些故障,确认预期行为。将现有标准已覆盖的用例加入回归集。当某个用例暴露出缺失的需求时,更新标准,并使用内层循环来满足该需求。
定期运行评估,以捕捉由外部依赖引起的行为变化。当标准发生变化时,在两种版本下比较结果,以区分智能体回归与更广泛的测试覆盖。将每个结果关联到其标准、测试集、评估器和智能体版本。
7. 设计架构以支持评估
评估与反馈循环需要架构必须提供的证据。从每项标准倒推,确定验证该标准所需的系统行为和记录。
例如,为了区分工具选择错误与执行失败,需要定义工具的用途、可接受的输入、输出以及错误条件。在追踪记录中公开实际的输入、结果和错误,以便评估者定位失败之处。
因此,验收标准同时塑造评估和架构。在这些基础就绪后,从一个业务任务开始,并建立一个基线。
8. 在 AWS 上入门
选择一个范围明确的业务任务,并力争在一周内建立初始评估基线。
- 第1–2天。 让业务负责人和工程师就验收标准、层级和阈值达成一致。准备 20–30 个黄金示例,覆盖常见请求和重要的边缘情况,其预期行为需经业务负责人批准。
- 第3–5天。 实施第 5 节中描述的评估器,并反复运行黄金集。发布基线,包括失败案例以及调查这些失败所需的证据。
- 第2周。 更改一项内容,并在相同条件下重新评估。记录发布决策及其支持证据。
在审查基线之后,将评估集成到发布流程中,并定期运行以检测漂移。指定一名负责人审查生产故障,并将已确认的案例反馈到标准中。
在 AWS 上,使用可通过 Amazon Bedrock 获取的模型来构建智能体。 Amazon Bedrock AgentCore Evaluations是 Amazon Bedrock AgentCore 的一项能力,可通过内置评估器评估智能体行为,并支持针对业务特定标准的自定义评估器。 内置评估器 并支持针对业务特定标准的自定义评估器。 AgentCore 可观测性是 Amazon Bedrock AgentCore 的一项能力,可提供执行可见性,并由 Amazon CloudWatch 补充以实现运行时监控和诊断。AgentCore 的运行时、Gateway、Identity 和 Memory 支持执行、工具集成、身份管理和记忆管理。