人工智能

面向智能体 AI 的负责任 AI:平台团队与应用团队的分阶段路线图

企业构建智能体 AI 平台,以治理智能体所使用的应用、工具、技能、模型和存储。生成式 AI 模型的非确定性本质带来了以往软件开发实践未曾预料的复杂性。设想一个根据检索数据生成房源信息的房地产应用:它是否准确反映了该房产,还是幻觉出并不存在的特征?又或者是一个基于内部知识库的客户服务智能体:你能否验证它不会泄露机密信息?

直到最近, 负责任 AI (RAI)一直以模型为中心,范围局限于机器学习开发生命周期:训练、测试和推理。模型并不进行推理、使用工具或采取行动。当讨论扩展到由模型驱动的系统时,它涵盖的是可以针对已知输入进行测试的、具有统计边界的情形。生成式 AI 驱动的应用和智能体改变了这一点。这些系统现在会推理、行动、动态组合工具,并进行多步骤交互,从而扩展了负责任 AI 必须覆盖的范围和深度。

各组织正在将负责任 AI 转变为增长战略,其支柱包括 安全与隐私、真实性与稳健性、公平性、安全性、可控性、可解释性、透明度和治理 将其转化为增长战略,关键在于尽早应对其不断扩大的范围。当企业大规模采用智能体 AI 时,正面和负面影响会相伴而来。正如 Wade 和 Wirtz 在《哈佛商业评论》中所观察到的,信任正成为一项竞争差异化因素。那些能够大规模实现个性化的能力,同样也可能被用于监视和歧视,而对这些能力加以治理的组织则能赢得利益相关者的信任。例如,Robinhood 在 Amazon Bedrock 上构建了一个生成式 AI 金融犯罪智能体,并实施了严格的数据治理。他们在保持监管合规的同时,实现了 20% 的效率提升。将这些实践按平台成熟度进行结构化,是下一步的工作。在本文中,我们将管理平台的团队称为平台团队,将基于平台构建的团队称为应用团队。应用团队(有时也称为工作流团队)在平台上构建并拥有智能体。 本文为平台团队和基于智能体 AI 构建的应用团队提供了一份精简、可操作的路线图。它旨在供双方共同阅读:平台团队负责搭建护栏,应用团队则在护栏之内进行构建。双方都需要一套共同的语言,来明确自身所处的位置以及什么,信任正成为一项竞争差异化因素。那些能够大规模实现个性化的能力,同样也可能被用于监视和歧视,而对这些能力加以治理的组织则能赢得利益相关者的信任。例如,Robinhood 在 Amazon Bedrock 并实施严格的数据治理。 他们实现了 20% 的效率提升 在保持监管合规的同时。将这些实践按平台成熟度进行结构化是下一步。在本文中,我们将管理平台的团队称为平台团队,将基于平台构建的团队称为应用团队。应用团队(有时称为工作流团队)在平台上构建并拥有智能体。

本文为平台团队和基于智能体 AI 构建的应用团队提供了一份精简、可操作的路线图。它旨在供双方共同阅读:平台团队负责搭建护栏,应用团队则在护栏之内进行构建。双方都需要一套共同的语言,来明确自身所处的位置以及什么 好 看起来是什么样子。我们提供了一项 负责任 AI 评估技能,它将 AWS 负责任 AI 透镜 三大支柱映射到三阶段成熟度模型: 治理基础、试点部署,以及评估与加固对于每个阶段,它展示了哪些负责任 AI 支柱至关重要,以及何时应重新审视这些支柱。配套的评分卡让应用团队和平台团队都能评估他们当前所处的位置,并随着应用程序的成熟而迭代。

注意: 本文涵盖各阶段应提出的关键问题,略去了分步实施细节。本文也不提供法律或合规建议。请务必咨询您的法律团队。

挑战

在与构建智能体 AI 平台的客户交流中,四个挑战反复出现。

  • 不可预测的运行时行为:不可预测的输出、目标漂移以及级联故障——即一个智能体的错误会跨服务传播。德国一家金融服务公司发现,多智能体编排会将一次误分类放大为三个下游服务中的策略违规。
  • 数据暴露与权限边界:将每个智能体的范围限定在其预期的租户、数据、系统和操作之内。隔离会话上下文,使每个会话在访问层就从数据驻留开始,并通过最小权限、任务绑定的权限授予特权访问,且智能体无法自行修改这些权限。这样,智能体便只会在明确授予的系统和权限范围内行动。
  • 监管提速: 《欧盟人工智能法案》, ISO 42001, NIST AI 框架以及即将出台的立法,正在以治理无法适应的速度催生合规要求。要证明非确定性系统的合规性,需要持续评估,并应按预定义的节奏(例如每日、每周或每月)进行监控和重新审视。
  • 团队协作:各组织缺乏一个共享框架来界定在智能体生命周期中谁负责什么。英国一家媒体公司指出,对于智能体工作负载,开发团队与部署团队之间的职责分离尚未明确。平台团队构建护栏,而应用团队则绕开这些护栏;应用团队把责任推给他们认为由平台处理的部分。
Four responsible AI challenges for agentic platforms: unpredictable runtime behavior, data boundaries, regulatory velocity, and team collaboration

图 1:智能体 AI 平台在负责任 AI 方面带来了新的挑战。

解决方案:三阶段负责任 AI 成熟度框架

在本文中,我们定义了一个智能体 AI 平台,如 AgentOps:借助 Amazon Bedrock AgentCore 大规模落地智能体 AI 运营,这是一个用于大规模安全构建、部署和运营 AI 智能体的系统,涵盖治理、构建与运营、评估和可观测性。您的负责任 AI 姿态应当随着该平台逐步成熟。我们将这一旅程划分为三个阶段,并在可定制的 12 周实施时间表中提出按优先级排序的负责任 AI 支柱,使平台团队能够在首批用例逐步成形的同时,建立坚实的负责任 AI 基础。

Responsible AI maturity framework mapping pillars across three phases: governance foundation, pilot deployment, and evaluation and hardening

图 2:面向智能体 AI 平台的拟议负责任 AI 成熟度框架概览。团队分三个阶段整合负责任 AI。

阶段 1:治理基础

重点支柱: 治理、安全与隐私

在此阶段,评估项目契合度、风险与伦理问题,取得法律与合规审批,并为 AI 智能体定义信任模型。应用团队使用风险评分标准为每个计划中的用例分类风险。平台团队则专注于建立核心着陆区基础设施,例如搭建总体监控与访问控制,并从一开始就对新增上线的智能体和用例进行治理。

此阶段需要考虑的关键任务包括:

安全与隐私

  • 评估每个智能体所需的数据和系统访问权限,并评估潜在影响。这为知识 grounding 策略奠定基础。
  • 通过数据分类、数据访问控制、日志记录、数据完整性和数据访问监控,实施基础数据安全和数据外泄防护。
  • 构建一张数据地图,标明智能体之间共享的数据(如组织知识库)以及各个智能体可能需要的上下文图等主观数据。然后据此划定访问边界,并相应分配读/写权限。

治理

  • 定义风险分类评分标准 以符合您的监管义务(EU AI Act 风险等级、金融服务行业要求等)。为每个计划中的用例分配低/中/高/不可接受风险等级,并记录每个风险等级所触发的控制要求。收集相关文档和可追溯性要求。
  • 在接入智能体之前,底层模型需要经过一套审查程序。该程序涵盖一系列以安全性和可靠性为标准的评估。根据能力、延迟和成本对已批准的模型进行编目。
  • 实施一个流程,对组织中部署的智能体、共享工具和技能等产品进行集中注册和治理,以实现集中可见性和消费。每个产品都需注册,包含负责人、风险等级和监管范围。如果某个资源(智能体、工具、技能)不在注册表中,组织就无法发现和管理它。

阶段 2:试点部署

重点支柱: 安全性、真实性与稳健性、可控性、安全与隐私

部署你的第一个能够创造可衡量业务价值的智能体。借助平台团队提供的模板和开发者指导,应用团队实施编排模式、记忆、护栏基线、知识 grounding 和工具使用模式。基础阶段识别的风险现在必须通过试点实施中的一组具体控制措施加以解决。

在此阶段,应用团队需要考虑以下事项:

安全性

  • 护栏。平台团队为模型输入/输出和工具调用建立基础的个人可识别信息(PII)脱敏过滤器。提供一套可直接应用的护栏规则。随后,应用团队根据智能体所服务的用例明确设置内容审核阈值。为低置信度响应配置人工升级机制。
  • 策略。定义哪个智能体可以访问哪个工具以及如何访问。并补充策略违规情况下的回退方案。

真实性与稳健性

  • 带检查的知识接地:即使上下文正确,模型仍可能产生幻觉或错误呈现所提供的来源。因此,配置上下文接地检查,以验证每个响应都正确接地于相关数据。对于受监管的用例,启用自动推理以获得可验证的输出。实施一个流程来策划和更新你的知识来源。定义如何对域外请求进行分类和处理。

可控性

  • 实施一个流程来策划和更新你的知识来源。 对高风险操作或代表他人执行的操作进行人工介入审批 作为断路器。定义智能体何时必须交由人工审批者/审核者处理的标准(例如置信度低于阈值、触发安全护栏或高风险决策)。记录升级事件,以便后续审计和分析。
  • 为最终用户提供权限审计,以便授予或撤销由人类用户或智能体所提供的访问权限,这些用户或智能体曾向子智能体授予权限,从而实现透明可控。
  • 通过会话级、追踪级和跨度级遥测实现端到端可观测性。为智能体决策、护栏调用和工具调用发出结构化追踪。在多智能体、多工具工作流中实施分布式追踪,以支持对智能体推理路径的完整重建。添加仪表盘,实现360度可观测性和成本控制。

安全与隐私

  • 建立 最小权限访问控制使用声明式策略语言为工具级访问定义基于策略的授权规则。为智能体操作和每个知识来源应用细粒度访问策略。

第 3 阶段:评估与加固

重点支柱: 公平性、可解释性、透明度、安全与隐私

你已经看到你的第一个智能体交付了业务价值。但你要如何向监管机构、审计人员或董事会证明这一点?你如何检测并帮助防止系统上的未授权事件?在第三阶段,评估会对公平性阈值和偏见基准测试进行压力测试。加固则将这些发现转化为修复措施。

该阶段包括以下工作流:

公平性

透明度

  • 对机器生成内容实施可强制执行的透明度:为每个可复用的输出附加机器可读的来源标签,使下游消费者能够验证其来源。在面向用户的交互中强制披露 AI 的存在。
  • 决策审计追踪:每个智能体操作都会被记录,且记录足够详细,能够为特定结果重建推理路径。例如,智能体访问了什么、何时访问以及以何种身份访问。

可解释性

  • 为虚构的审计或申诉编写一份审计报告:确保你能够快速汇集相关数据,并理解决策是如何做出的。
  • 面向用户的解释:为最终用户提供按需、通俗易懂的摘要,说明智能体为何采取特定操作或给出某项建议。

安全与隐私

  • 持续评估:建立评估流水线,并在部署前后进行评估。记录结果。实施告警机制,以便在指标低于预定义质量阈值时收到通知。
  • 针对智能体特有的威胁模型开展渗透测试和红队评估:提示注入、并发访问下的租户隔离、配置错误的配置文件下的令牌交换,以及长时间运行的异步智能体任务。定义专门针对 AI 智能体安全事件的安全事件响应运行手册。为安全关键事件配置自动告警。
  • 根据生产反馈迭代优化发布标准(评估分数、安全扫描结果、公平性指标)。将部署门禁内建到持续集成与持续交付(CI/CD)流水线中。任何未满足其风险等级对应发布标准的内容都不得进入生产环境。

何时重新评估

负责任 AI 并非一次性实施。随着平台演进,每个维度都必须定期重新评估。下表给出了一些示例,用于定义常设审查节奏和事件驱动的重新评估触发条件。

常设审查节奏
  • 对范围内智能体的合规评估:文档更新、重新运行证据收集、人工监督日志。
  • 审查风险分类、事件复盘。
  • 审查入职与退役流程。
  • 具备漂移检测自主性、风险评分与告警的持续评估。
  • 跟踪 Guardrails 的误报率和漏报率,并在需要时进行调整。
  • 持续刷新知识库,移除过时的文档。
触发条件
  • 新的用例已接入。
  • 新增模型或模型更新。
  • 新增工具。
  • 接入新的客户细分群体。
  • 识别出新风险,例如发现新的安全威胁。
  • 智能体已更新,例如新增了系统提示词。
  • 合规或监管变化。
  • 智能体行为会发生变化。

示例用例与实施

考虑以下案例:一家银行构建了一个多智能体贷款处理平台。该平台设有受理智能体、风险评分智能体、合规智能体和客户沟通智能体。

阶段 1(治理基础):平台团队为其用例收集法律要求,例如源自 《欧盟人工智能法案》 以及金融监管要求,并在 AWS Agent Registry 中将代理注册为高风险层级(影响个人的金融决策),使用 AWS 智能体注册表。他们使用一个安全的 使用 AWS Control Tower 构建的着陆区 并启用基础日志记录与访问控制,同时配置 租户隔离 以防止跨客户数据泄露。团队 记录每个智能体的剩余风险和范围:例如,如果受理智能体产生意外数据,风险评分智能体会处理其输出,而不进行独立验证。

阶段 2(试点部署:验证与推广): 风险评分 使用 Amazon Bedrock 知识库 并以监管贷款文档为依据。 自动化推理检查 验证拒绝决策是否符合文档化标准(一致性,而非因果解释)。 Amazon Bedrock Guardrails 在客户沟通前对 PII 数据进行脱敏。 为弥合多智能体之间的信任缺口:评分智能体从源系统确认关键申请人数据,而不是仅依赖受理智能体的提取结果。每个智能体通过 AWS Identity and Access Management(IAM)权限被限定为只能使用所需的工具,团队还使用 Amazon Bedrock AgentCore 中的策略 进一步将风险评分智能体的访问权限限制为仅对智能体获批的客户细分群体具有只读访问权限。如果自动推理检查返回的结果不是 VALID(例如 SATISFIABLE 或 TRANSLATION_AMBIGUOUS),或者申请人的风险评分落在边缘区间内(例如在阈值 ±5 分范围内),该案例会自动升级给人工信贷专员(人工介入审核)在决策传达之前。升级事件会连同触发条件一起记录,以供审计。

阶段 3(评估与加固:持续监控): Amazon Bedrock AgentCore 评估这是 Amazon Bedrock AgentCore 的一项能力,在每次流水线推送时运行。如果评估结果低于发布标准,或 各子组的公平性指标 超出阈值。红队演练(独立安全团队)在受理智能体上测试现实的安全威胁,以验证其无法影响评分。对拒绝决定进行人工审核,在60天内做出2,000个对齐决策后,通过申诉流程转为事后审核。决策过程中AI的使用情况会透明地向客户披露。每个自动化决策都使用 Amazon Bedrock AgentCore 可观测性,这是 Amazon Bedrock AgentCore 的一项能力。它捕获 OpenTelemetry span ,这些 span 可自动聚合为单一分布式追踪,随时可供审计和申诉使用。

如何衡量成熟度

框架是愿景,而度量则提供问责依据。当平台投入运行后,CISO 或审计人员等利益相关方必然会提出诸如“你能列出一个用例的风险等级吗?”之类的问题。为了让您做好准备,我们提供了一个代码库,其中包含一组问题,您可以用它们在系统上线前评估当前状况并找出需要改进的领域。

我们还将问卷打包为可移植的 技能 ,供像 Amazon Quick,以及像 Amazon Quick Kiro, Claude Code和 CodexAI 会引导您完成每个阶段,并按照各维度以 1–5 分的标准评估您的负责任 AI 态势。低于 4 分的分数表明存在应予以整改的重大风险。4 分或更高的分数表明存在残余风险,在逐案确认的情况下,这种风险可能是可以接受的。AI 还会提供可操作的建议,帮助您改善负责任 AI 态势。

Portable AI skill scoring a team’s responsible AI posture across the eight pillars

图 3:一个可移植的 AI 技能,通过一组问题帮助团队评估其负责任 AI 态势。

结论

负责任 AI(RAI)是一项持续、不断演进的工作。我们建议组织通过 AgentOps 旅程来落实 RAI 的各项支柱。这些最佳实践将治理政策、评估关卡和生产遥测纳入智能体 AI 平台。由此形成反馈闭环,使公平性、安全性和透明度得到持续衡量与改进。

该框架只是一个起点,并非详尽的合规检查清单。负责任 AI 实践因行业、用例和要求而异。组织应咨询自身的法律、合规和伦理团队,根据其具体的监管义务和风险状况来调整这些建议。

关于跨各类工作负载的负责任 AI 的全面处理方法,请参阅 AWS Well-Architected 负责任 AI 透镜,其中针对本博文讨论的八大支柱分别提供了详细的最佳实践、设计原则和评估标准。如需特定行业的指导,请参阅 金融服务行业透镜 以及 医疗健康行业透镜,它们针对特定行业的监管与伦理要求。立即从该 代码库 并使用你偏好的 AI 智能体评估贵组织的 RAI 态势。


关于作者