跳至主要内容

随着 AI 应用日益普及,AUMOVIO 的各团队开发了不同的大语言模型访问方式。如今, Databricks Unity Gateway 为我们的 AI 工作负载提供了统一入口。本文将介绍我们如何整合这些方式。

挑战:管理跨多个提供商的 AI 访问

AUMOVIO 的各团队开发了不同的大语言模型访问方式,包括提供商集成以及针对特定用例构建的网关。这些方式都满足了实际需求,但随着 AI 应用日益普及,其多样性增加了运营、成本归属和一致治理的复杂性。

主要的改进机会包括:

  • 统一可见性。 将模型使用情况汇集到一处,以便进行一致的报告。
  • 成本透明度。 将支出归属到用户、团队或用例。
  • 简化运营。 通过共享服务管理提供商更新、故障事件和支持。
  • 一致的治理。 通过统一方式实施模型审批、日志记录和护栏。

总体而言,这些方式凸显了采用共享运营模式的价值,即通过单一 AI 网关解决方案管理我们的 AI 工作负载。

决策:采用一个集中式 AI 网关

AUMOVIO 的跨职能 AI 专项工作组汇集了来自安全、数据保护、业务部门和 IT 的利益相关方。该工作组决定采用 一个中央 AI Gateway,作为大语言模型访问和治理的统一通道,从而为全公司的模型访问确立统一方向。

接下来,我们的任务是让这条中央通道切实服务于各团队及其应用。

我们为何选择 Databricks Unity Gateway

构建 AI 网关并不困难,但将其作为企业级服务运营则是一项长期承诺:提供商 API 会发生变化,依赖项需要修补,安全要求不断演变,用户也需要支持。一旦应用开始依赖网关,网关就需要产品路线图、值班轮换机制和支持流程。权衡自行建设与购买又一个 AI 网关之后,以下五项理由促使我们认定 Databricks Unity Gateway 是适合我们的解决方案。

1. Databricks 已经是我们的数据平台。 1ADP,即 One AUMOVIO Data Platform,运行在 Databricks 上。将模型访问部署在受治理的企业数据旁边,意味着无需引入新供应商、无需审核新的网络路径,也无需运营孤立的技术栈。

2. 企业身份集成。 Databricks 已与我们的企业 Microsoft Entra ID 租户集成,其他 AUMOVIO 应用也通过同一租户进行身份验证。应用提供其 Entra ID 令牌,经令牌交换即可访问 Unity Gateway,无需单独账户、无需分发 API 密钥,也无需定制集成。为新的 AI 应用办理接入只需授予权限;当企业身份失效时,其对所有模型的访问权限也会自动终止。

3. 治理与使用情况跟踪。 模型审批、访问策略、使用情况跟踪和日志记录集中在一处,无需在每个应用中重复实现。默认关闭通过推理表记录有效载荷的功能,只有在提供明确且获批的合理理由后才会启用,这符合我们的数据保护协议所要求的立场。

4. 我们可以自由选择提供商。 这一点最为重要。我们发布了一份经过筛选的 1adp-* 模型别名目录,Unity Gateway 会将每个别名路由到为其提供服务的任意提供商,包括 Databricks 托管的基础模型、Google Vertex AI、Azure OpenAI、AWS Bedrock 或其他提供商。用户面向稳定且供应商中立的名称编写代码,而我们可以将该名称重新指向其他提供商或更新的模型,无需任何使用方修改一行代码。这些别名为团队提供了访问获批模型的一致通道。

5. 配置采用基础设施即代码。 Unity Gateway 为我们执行的所有操作均通过 Terraform 表达:每个 1adp-* 别名背后的端点、每个模型路由到的提供商、提供商性能下降时的故障转移顺序、速率限制,以及应用于各端点的护栏。添加模型、将别名重新指向其他目标或收紧安全控制,都通过拉取请求完成,可接受审查、进行版本管理,并在不同环境中复现。当生产环境出现异常时,版本控制系统能够说明导致问题的配置。由于 1ADP 的其余部分也采用相同方式进行配置,Gateway 对已经负责运行该平台的工程师而言只是又一个模块。

Unity Gateway 如何帮助我们管理 AI 成本和模型访问  

集中模型访问是第一步。随后,我们在 Unity Gateway 之上构建了三项能力,为团队管理、访问和使用 AI 提供支持:

成本归属与内部费用分摊。 Unity Gateway 会报告消耗的令牌数量,每位用户都要将自己的用量归属到个人成本中心,或其参与的某个项目。数据管道将这种归属信息与 Databricks 系统表关联起来,并把使用费用计入正确的成本中心。我们通过仪表板发布结果,其中显示使用了哪些模型、由谁使用、用量如何变化以及成本是多少。预算负责人可以查看支出并识别用量变化。

经过筛选的模型目录。 标准化访问并不意味着模型可以互换。该目录是关于哪些模型已获批准、它们映射到什么目标以及运行在哪个用量层级的唯一事实来源。团队仍需针对所选模型测试应用,但不再需要自行构建访问该模型的基础设施。

面向员工的界面。 1ADP AI App 通过同一网关在生产环境中运行,使员工无需编写代码即可在治理框架下使用 AI。开发者可以使用兼容 OpenAI 的端点,并将兼容的智能体编码工具连接到中央模型。同一套基础设施服务于两类用户:我们将模型访问标准化,同时保留开发界面的选择自由。

迄今取得的成果:集中式 AI 治理、成本可见性和开发者访问

Unity Gateway 为大语言模型访问提供了统一通道。1adp-* 别名将应用连接到模型,护栏由中央统一实施,使用量则近乎实时地归属到各成本中心。 

下一阶段将向 AI 平台栈的更高层推进:在 1ADP 项目内共享智能体,并通过托管和自带的 MCP(模型上下文协议)连接接入知识源、网络搜索及其他工具。模型访问仍由中央统一管理;变化的是智能体可以使用的工具范围。这也带来了若干问题:智能体可以检索哪些内容、可以调用哪些工具,以及它依据谁的权限执行操作。拥有一个统一框架来回答这些问题,正是我们最初进行整合的原因。

经验总结:企业 AI Gateway 是自建还是采购

如果要整合不同的模型访问方式,应让安全、数据保护、业务部门和 IT 共同参与运营模式的制定。随后,要让这项共享服务真正对预期使用它的团队有用。

在比较自建与采购时,应核算未来十年的成本,而不是只看原型阶段的价格。需要考虑:由谁修补提供商集成、由谁处理支持工单、由谁应对事件,以及明年又由谁再次完成这些工作。

接下来,要确定哪些能力确实应由自己构建。Gateway 并不是其中之一;成本归属、模型目录和面向员工的 AI App 才是,因为这些能力体现了 AUMOVIO 的运作方式,而没有任何供应商会直接把它们交给我们。

我们仍需对自身的架构、安全决策和应用质量负责。Unity Gateway 提供共享的模型访问服务,而各团队仍可自行选择要构建的应用。

常见问题

为什么 AUMOVIO 选择 Databricks Unity Gateway,而不是自建 AI Gateway?

AUMOVIO 选择 Databricks Unity Gateway,是为了集中管理 AI 模型访问,同时避免自建网关所需的持续维护、安全更新和运营开销。由于 Databricks 已经为其企业数据平台提供支持,AUMOVIO 可以复用现有基础设施、Microsoft Entra ID 集成和治理控制。这使其团队能够专注于构建公司特有的能力,例如成本归属、经过筛选的模型目录和面向员工的 AI 应用。

企业如何集中治理对多个提供商 AI 模型的访问?

Databricks Unity Gateway 为访问多个提供商的 AI 模型提供单一且受治理的入口,这些提供商包括 Azure OpenAI、Google Vertex AI、AWS Bedrock 以及由 Databricks 托管的模型。AUMOVIO 通过集中式模型审批、访问策略、日志和护栏,在各类应用中实施一致的治理。其经过筛选的模型别名还允许管理员更换底层模型或提供商,而无需修改应用代码。

Databricks Unity Gateway 如何帮助企业跟踪和分摊 AI 成本?

Unity Gateway 提供令牌使用数据,企业可以利用这些数据跟踪不同模型和用户的 AI 使用情况。AUMOVIO 将 Databricks 系统表中的这些数据与项目和成本中心分配信息结合起来,把 AI 支出归属到相应的业务负责人。仪表板近乎实时地展示模型使用情况、用量趋势和成本,从而支持内部费用分摊和预算监督。

企业如何让开发者访问多个 AI 模型,而不必管理各自独立的 API 密钥?

Databricks Unity Gateway 通过兼容 OpenAI 的端点集中提供模型访问,减少了开发者分别管理各提供商集成的需要。在 AUMOVIO,应用通过 Microsoft Entra ID 令牌交换进行身份验证,因此无需分发个人 API 密钥。开发者可以通过兼容的编码智能体和应用使用已获批准的模型,而 IT 则集中管理权限和提供商连接。

对于企业 AI 应用和智能体,使用集中式 AI Gateway 有哪些好处?

集中式 AI Gateway 简化了对多个模型的访问,同时将治理、成本可见性和运营管理整合到一项共享服务中。AUMOVIO 使用 Unity Gateway,通过同一套基础设施同时支持面向员工的 AI 应用和开发者工具。下一阶段将把这种方式扩展到共享 AI 智能体和 MCP 连接,重点治理工具访问和权限。

相关标签:

Unity Gateway 和 制造业

将最新文章发送到您的收件箱

订阅我们的博客,即可在收件箱中收到最新文章。

注册

查看所有博客 slice-start id="_gatsby-scripts-1" slice-end id="_gatsby-scripts-1"