人工智能

BMW Group 如何治理服务数千名开发者的数百个智能体

当数百个智能体为数千名开发者服务时,企业治理绝不能事后才考虑。

在 BMW Group 的研发部门,超过 12,500 名开发者负责约 5 亿行车辆软件代码。BMW Connected Vehicle 后端进一步增强了这些软件的能力;该后端是一个基于云的系统,由 1,300 多个微服务组成,为实际使用中的 2,400 万辆汽车提供数字服务。在受监管行业中,对(软件)质量、稳定性和治理合规性的要求极高。

尽管如今的研究、框架和指南已让智能体的构建更加便捷,但如何以高效、可扩展的方式将高质量智能体工业化并投入运营,仍是一项重大挑战。

要在大型组织中规模化应用智能体式 AI,单靠孤立的团队无法实现。这需要集体协作、由各地团队推动的实验,以及整个企业内部积极的知识共享。由此产生了一个根本性的治理矛盾:开发团队需要快速创新的自由,而企业则必须执行安全性、信息安全、可组合性和成本效益方面的标准。如果无法取得这种平衡,组织就可能形成一个个相互割裂的 AI 孤岛,并付出高昂的重复劳动成本。鉴于 BMW Group 内部有数百个分布在全球各地的团队正在构建智能体,这确实是一项现实挑战。

本文将详细介绍支持 BMW 研发团队大规模构建、治理和运营智能体,同时不牺牲速度、质量或合规性的实践与模式。

解决方案

我们的基本理念很简单:从一开始就构建能够相互协作的智能体。这需要一种架构,在不强制采用单一框架或工具链的前提下,让多样性具备可组合、可治理和可自动化的特性。

这一架构的核心是智能体运行框架(agent harness),即封装在大语言模型(LLM)外围的运行时层。它为自主运行提供执行循环、工具分派、记忆管理和可观测性挂钩。

正如 AWS Well-Architected Framework 实现了云基础设施设计的标准化一样,智能体系统也需要类似的模式,即从一开始就将治理、可组合性和运营最佳实践编码其中的可复用蓝图。

我们的解决方案围绕五项相互衔接的实践展开,这些实践源自在 2023 年以来以企业规模构建和运营智能体系统的实际经验。每项实践都被编写为基础设施即代码(IaC),使各团队能够以可重复、可审计、可强制执行的方式采用,同时不妨碍 DevOps 的推进速度。

主动治理,而非事后治理

治理必须从一开始就融入系统结构,并贯穿整个生命周期持续维护。我们主张,有效的智能体治理应具备以下三个特性:

不依赖特定框架并实现外置: 身份验证、授权、速率限制和内容过滤等治理规则在集成层执行。该层包括模型上下文协议(MCP)网关、中央智能体注册表和编排边界,而不是将这些规则置于各个智能体的代码库内。这意味着,即使迁移框架、更换模型或重组团队,治理机制仍能继续发挥作用。

因领域而异并分级实施: 并非每项智能体操作都具有相同的风险:起草文档、更新客户记录以及写入生产数据库所需的监督级别截然不同。我们通过按步骤设置自治级别来实现分级信任:

  • 级别 0(人在回路中): 每项操作都需要人工明确批准。这是新智能体和高风险操作的起始级别。
  • 级别 1(人在回路上监督): 智能体自主执行操作,但会呈现其决策,供人工异步审核。适用于输入、输出和回滚选项均已明确的中等风险任务。
  • 级别 2(护栏内自治): 智能体在严格定义的策略边界内独立运行,这些边界通过确定性机制执行,而不是依赖提示词指令(见下文)。该级别仅适用于风险较低、已得到充分理解且拥有经过验证的良好记录的操作。

应按步骤而非按智能体分配信任级别。单个工作流可以包含上述三个级别的步骤,因此团队能够以保守方式起步,并随着信心的增强逐步提高自治程度;这种信心应建立在可衡量的评估数据之上,而非主观假设。

以确定性方式执行: 治理以确定性代码的形式在智能体的推理循环之外运行。在实践中,这主要发生在 CI/CD 流水线中。权限检查、策略即代码规则和合规性验证会在那里对每次部署设置关卡,确保智能体在进入生产环境前通过检查。由于这些检查独立于智能体运行,因此智能体及其提示词都无法绕过这些检查。出站控制(收件人白名单、出站秘密信息扫描)有助于防止掌握机密数据的智能体通过其他方面均属合法的调用泄露这些数据。

持续进行检测、验证和评估

智能体系统中的可观测性超越了传统的应用监控。真正的问题不再是服务是否返回了 HTTP 200 状态,而是智能体是否生成了忠实且符合策略的输出,以及如何通过可观测的执行轨迹对此加以证明。要回答这个问题,需要一个涵盖常见查询和边缘情况的真实基准数据集。该数据集从第一天起就用于评估,从而依据具有代表性且受到适当治理的评估数据集来衡量质量,而不是使用合成提示词。

这种基础设施无法在事后加装,必须纳入初始设计。持续集成和持续交付(CI/CD)流水线会强制执行这一要求,因此缺少检测机制的智能体会在评估运行前便无法通过验证。

我们建议对三个维度进行检测:

  • 意图追踪: 捕获每次执行中可观测的智能体轨迹(推理步骤、工具调用和上下文检索)。OpenTelemetry span 建立了一条从用户请求到最终输出的可查询链路。
  • 将验证和评估纳入 CI: 对智能体的任何更改(提示词编辑、添加工具、更换模型)都会触发流水线。 验证 首先运行,通过自动化回归测试覆盖智能体的各个组件及其交互。由于测试框架的大多数组件具有确定性,这些测试速度很快,并且可以完全自动化。 评估 随后运行,依据真实基准数据集对非确定性输出进行评分,并以质量阈值作为关卡。这种顺序是有意设计的:验证充当关卡,因此只有构建通过后才会运行评估。
  • 模型分层和路由遥测: 当智能体在不同模型之间进行路由时,不仅要记录结果,还要捕获路由决策及其理由。各任务类型的模型层级分配源自评估结果,而不佳结果会作为新的评估案例反馈到系统中。

从聚焦的目标起步,并为组合而设计

对于分布式云系统,业界通过采用微服务或服务网格等架构模式,解决了端到端工作流的复杂性问题。智能体系统的发展也需要遵循类似的轨迹,从单体式通用智能体转向多个相互协作的专业化智能体。

团队应先定义问题,再考虑智能体的功能。在编写任何编排逻辑之前,应产出五项具体成果:

  1. 明确的范围定义: 智能体应该做什么、不应该做什么。
  2. 交互模型:用户和其他智能体将如何调用它。
  3. 明确无歧义的工具定义: 精确定义每个工具及其参数。
  4. 真实基准数据集:即上文所述的评估参考,应在开始任何实施工作之前建立。
  5. 评估标准: 用于衡量智能体的质量阈值和基准。

这种规范可以避免我们观察到的最常见故障模式:承担过多职责的智能体会积累臃肿的提示词,从而降低准确性并增加延迟。

一旦单个智能体的范围得到妥善界定,就必须将其设计为可组合的构建模块。因此,我们定义了一个三层组合体系:

  • MCP 工具 是原子化的集成契约。每个工具封装一项单独的能力(例如 API 调用或数据库查询),不包含对工作流的预设。这是稳定且可复用的一层。
  • 技能 是由 MCP 工具组合而成、针对特定领域的功能包。例如,代码审查技能可以串联静态分析工具、代码风格检查工具和基于 LLM 的推理步骤。技能封装领域逻辑,但仍可跨工作流移植。
  • 流程 是对技能进行的端到端编排,代表完整的业务流程(例如完整的 PR 审查流水线或从需求到部署的周期)。

每一层都在 CI/CD 流水线中独立验证。组件测试覆盖工具和技能,交互测试则覆盖它们组合成流程的情况。

这些层级通过开放标准相互连接:使用 MCP 和 Agent Skills 实现工具集成,使用 A2A 协议进行智能体间通信,并使用 OpenTelemetry 对由此产生的交互进行可观测性监测。

图 1 展示了这三个层级如何相互构建,从底层的单个 MCP 工具到顶层的完整流程。

Figure 1: Three-tier system to build composable agents

图 1:构建可组合智能体的三层系统

在学习过程中逐步专业化

在生产环境中,即使范围界定良好的智能体,也可能因实际使用情况偏离设计时的预期而失效:查询模式发生变化,工具选择逻辑难以应对,性能也会以不可预测的方式下降。

正确的应对方式是将复杂智能体拆分为多个专业化智能体,每个智能体都拥有更明确的指令、更精简的工具集和更聚焦的推理。这样做的好处十分具体:

  • 独立演进: 更新需求工程智能体时,无须改动编码智能体。
  • 单独扩展:当范围和接口得到明确定义时,可以独立扩展各个智能体,无须重新部署整个系统或调整其资源规模。
  • 缩小影响范围: 一个智能体的故障或幻觉不会在整个工作流中连锁扩散。
  • 节省成本: 范围较窄的智能体通常可以在更小的模型上运行,从而降低推理和托管成本。

可以沿两个维度降低复杂性:

  • 智能体内部: 将能力拆分为技能,因为工具和少样本示例会在每次调用时占用上下文,同时降低准确性并增加成本。应通过实证方式确定粒度:合并智能体很少选择的技能,并拆分那些会根据输入产生不同行为的技能。
  • 智能体之间:通过 A2A 协议将智能体领域之外的工作委派给专业化的同类智能体,而不是扩展当前智能体。智能体应增强能力,而不是增加上下文。

至关重要的是,由于每个专业化智能体只能访问其角色所需的数据和工具,这种架构有助于从设计层面落实最小权限原则,而这是受监管行业的一项合规要求。

然而,要实现这些优势,智能体必须能够相互发现并实现互操作。为防止出现 AI 孤岛,我们维护一个 集中式 智能体、工具和技能注册中心。该注册中心充当:

  • 发现机制: 根据构建期间存储的元数据,对可用的智能体、工具和技能进行编目。
  • 治理检查点: 确认各类资产已获准用于生产环境,并维护审计追踪记录。
  • 安全检查点: 在批准前进行自动化安全检查,例如检测提示词注入及类似问题。
  • 去重保障机制: 识别其他团队已经维护的同等能力,以避免重复工作。注册时会自动运行此项检查,并在批准前标记重复项。

通过规范化实现规模化

从管理单个智能体转向治理智能体集群,需要将智能体架构规范化。借助 Terraform 或 AWS CloudFormation等基础设施即代码框架,团队能够像管理任何生产系统一样,以同等严谨的方式配置和管理智能体基础设施:

  • 细粒度的最小权限角色: 按智能体或工具划定权限范围。
  • CI/CD 流水线:在不同账户和区域间实现一致且经过验证的部署,并在测试失败或指标恶化时自动停止部署。
  • 策略即代码:通过规则(例如 AWS Config、Open Policy Agent)扫描已部署的智能体,检查其是否符合组织标准。

这三项措施均作为流水线门禁强制执行,在注册前完成验证,而不是事后审计。

采用模式有意采取自下而上、中央管理的方式。各个团队构建技能和 MCP 工具来解决自身的紧迫问题。所有团队都可以通过注册中心共享资产并作出贡献。中央团队将自动化治理检查纳入 CI 流水线,以确保标准得到遵守。为了支持开发团队并推动 左移,中央团队还以治理即代码模块的形式提供构建块。

这种平衡既避免了中央强制规定架构,也避免了不受管理的试验。因此,当出现新的运营问题时,团队可以扩展现有模式,而无须重新设计架构。

在智能体生命周期中落实最佳实践

只有在运行前和运行时将架构模式与治理标准嵌入团队构建和运营智能体所采用的工作流中,它们才能真正发挥作用。

部署前

治理始于编写第一行编排逻辑之前。团队可以使用注册中心提供的参考架构模式和示例。这些经过预先验证的蓝图涵盖常见的智能体配置、工具集成模式和组合结构,既能加快开发,又能将经过验证的默认设置编码其中。在任何内容进入生产环境之前,标准化 CI/CD 控制措施会强制落实这些实践。图 2 展示了参考流水线的四个阶段,它们按从左到右的顺序运行。

Figure 2: Reference pattern for a four-phase agent deployment pipeline.

图 2:四阶段智能体部署流水线的参考模式。

阶段 1 执行图 2 所示的快速确定性检查:供应链安全(仅允许使用获准的注册中心)、组件和交互测试、评估库引用以及可观测性检测。

阶段 2 并行执行安全和治理检查。静态分析扫描代码中的问题,安全测试则在隔离的预发布环境中探测智能体。流水线还会验证出站流量控制和最小权限。另有两项检查用于确认智能体声明的自主等级与其实际权限相符,并确认其配置通过策略即代码规则。治理智能体通过依据既定标准检查该智能体,并标记发现的问题供人工审核,从而加快审计,例如:

  • 范围蔓延: 超出最初定义的用途或权限范围运行。
  • 提示词膨胀: 指令中存在不必要的复杂性。
  • 工具误用: 在预期用例之外调用工具。
  • 性能下降: 准确率、延迟或成本效益恶化。

图 3:治理智能体工作流示例

这项评估会给出团队可立即采取的具体可执行措施,而不是抽象建议。图 3 展示了治理智能体用于智能体成熟度评估的仪表板。治理智能体提供证据和可执行建议,而治理决策由承担责任的人员负责。建议在应用前必须经过人工确认,以维持 四眼 原则并确保问责。发现的问题会更新注册中心内智能体的治理状态,完整详情则会单独记录在中央知识库中,以便审计和追溯。

阶段 3 将智能体作为运行中的系统进行评估,包括真实基准评估门禁(依据设计阶段建立的基准对输出评分)和智能体性能(延迟、令牌消耗)。图 4 详细说明了各项指标、评分标准及其相互关系。

Figure 4: Overview of evaluation metrics

图 4:评估指标概览

阶段 4 在注册智能体及其子智能体、工具和技能之前检查是否存在重复项。下表展示了注册中心为每个智能体存储的元数据字段。

智能体元数据
核心数据:
  • 唯一标识符
  • 名称
  • 描述
  • 版本
  • 业务负责人
  • IT 负责人
  • 能力:名称、描述
  • 功能列表:名称、描述、方向:提供/使用
  • 状态:规划中/活跃/已弃用
  • 规范、智能体卡片或文档的链接
  • 托管模式:本地、云端、云区域
服务等级协议数据:
  • 目标可用性百分比
  • 目标 P95 响应时间(毫秒)
  • 支持时段/运营支持模式
数据治理标志:
  • 信息分类等级
  • 是否处理个人数据标志
  • 数据保留期限/策略
  • 是否记录请求和响应载荷标志
  • 是否对 PII 数据进行脱敏标志
  • 是否需要人工介入标志(高影响或不可逆操作必须启用)

表 1:注册中心存储的智能体元数据示例

如果任何步骤失败或指标恶化,部署将停止,并生成日志用于根因分析。如果所有检查均通过,智能体将被打包并作为容器化工作负载部署,从而实现一致且可复现的部署。这样可以防止不受治理的智能体进入生产环境,实现合规检查自动化,并确保注册中心信息准确。

运行时

在运行时,可观测性必须捕捉两类漂移。数据漂移表现为新的或不断变化的用户查询模式,或上游 API 的变化。模型漂移则表现为错误率上升或工具选择准确率下降。客户标记某条响应时,也会触发调查。漂移、分布变化、评估分数下降或客户直接标记等警报会触发分阶段响应。这些事件会被记录并转交人工审核。此外,团队还可以持续运行治理智能体,以标记漂移和运营问题,供责任团队调查。

总结

大规模构建和运营智能体是一门工程学科,而不是一项实验活动。

有效的治理必须从一开始就融入结构设计,实现外部化、具备领域敏感性,并以确定性方式执行。我们引入了一个三层组合体系(MCP 工具、技能和流程),作为构建可复用、可组合且可互操作智能体的架构基础,并将其分解为专业化智能体,以控制复杂性和范围。我们展示了如何通过在每次 CI/CD 运行中进行验证和评估,使质量保证成为日常开发的一部分;以及如何将智能体基础设施定义为代码,让团队能够对整个智能体集群中的每个智能体应用相同的治理规则。最后,我们将这些模式落实到智能体的整个生命周期中,从经过预验证的参考架构和结构化流水线,到持续评估已部署智能体的运行时治理智能体。

我们的经验表明,这些实践能从多个方面带来回报。可复用模板和共享基础设施降低了开发成本。得益于标准化的交互模型和自动化部署,团队也能更快地将智能体投入生产。质量同样有所提升,因为流水线会在生命周期的每个阶段强制实施经过验证的模式。

扩展智能体治理是整个行业的迫切任务。向 AI 和生成式 AI 支持的工作流自动化转型,已经在重塑工程组织的运作方式。最终胜出的将是那些超越实验阶段,并建立起大规模治理自主智能体网络所需工程纪律的组织。落实这些实践后,BMW 工程师便可以专注于解决真正重要的问题:打造终极驾驶机器。

要将这些理念应用于您自己的智能体,请从 AWS Well-Architected Framework入手。本文以该框架作为可复用智能体蓝图的模型。要了解 BMW 如何在其 AWS 环境中将治理编纂为规范,请阅读《 BMW Group 如何利用自动化在 AWS 上大规模实现端到端合规.

展望与后续步骤

本文介绍的模式和实践是基础,而非终点。我们正在从以下几个方面积极扩展这些模式和实践:

  • 完善架构指导: 发布最佳实践指南,介绍构建智能体时涉及的架构权衡、组合模式和反模式。
  • 扩展基础设施即代码模板: 以可用的 IaC 模块形式提供智能体蓝图,并默认内置安全与治理标准。
  • 深化治理合规测试: 添加用于验证治理合规性的 CI/CD 测试用例。
  • 实现标准执行自动化: 在部署前和运行时阶段扩展自动检查和托管式合规扫描规则。
  • 扩展智能体 FinOps: 治理模型和工具调用的合理规模配置。
  • 智能体用户指导: 将所述模式集成到 BMW 的架构指导智能体 Archimedes 中,以提供情境化的架构建议。

致谢

作者谨向以下人员致谢(按字母顺序排列):Alexander Stark、Alexander Zimmer、Céline Laurent-Winter 博士、Dominik Segl、Florian Seidel、Hugo Lerias、Lars Lewerenz 博士、Mark Neumann、Ralf Bottesch、Ramona Weber、Satish Vasireddy、Samuel Voss、Xagarey-Louis Meyer。


关于作者