在寻求削减 AI 成本时,团队往往会先从预算或开源模型入手。但智能体追踪也能揭示其他节省机会。在 Databricks,追踪分析发现了多个机会:离线重放显示,从 Opus 4.8 升级到 Opus 5 并未带来性能提升,因此我们继续使用成本更低的 4.8;修复常见的 MCP 错误,预计每年可挽回 120 万美元的成本;追踪还显示,一些简单提示词被发送给了昂贵的模型,促使我们采用 智能路由.
今天,我们推出 Unity Gateway Insights,它会自动使用 Genie,将数百万条智能体追踪与您的业务数据和本体结合起来分析。它能发现 token 浪费之处:反复出现的 MCP 错误、在昂贵的前沿模型上运行的简单任务,以及值得转化为共享技能的重复工作流;所有这些分析都基于您的业务情境,并与其他数据采用相同的治理机制。

Insights 的工作原理
如果已有流量通过 Unity Gateway,请打开 AI Gateway > Observability > Insights,并生成过去 1 天、7 天或 30 天的报告。随后,Insights 会撰写一份关于编码智能体推广中 token 经济性的报告,回答以下问题:
- 人们正在处理什么工作? Insights 会比较每个工作流在会话中的占比与其在 token 用量中的占比。某个工作流若仅占 10% 的会话,却消耗了 35% 的 token,就应当优先排查。
- 我可以从哪些方面节省成本? Insights 会显示 token 的去向,并按成本对各类浪费进行排序。对于每个重复出现的工作流,Insights 都会生成一段可供复制的提示词,帮助您将该工作流转化为共享技能。

每项发现都会链接到示例会话,您可以打开其背后的追踪记录。

您最多可以在报告中添加 10 个自定义问题,例如最新模型对您团队的工作是否物有所值。如需进一步探究,可以继续与 Genie 对话。您可以询问本月哪个 MCP 服务器浪费的 token 最多以及由谁负责,这样就能得到一份可直接发送的错误报告。

Insights 在您的追踪记录中发现了什么
以下是 Insights 报告的各类浪费背后的原因:
- MCP 错误与浪费: 当工具调用失败时,智能体会不断重试或设法绕过问题,直到任务完成,因此会话看起来似乎正常运行,但每次重试的成本都由您承担。我们发现的 120 万美元成本,仅源于 MCP 服务器中的 7 个小问题:其中包括价值 49.9 万美元的 token 浪费,以及工程师等待智能体响应所耗费的 12,000 小时。修复这 7 个问题总共只花了大约一小时。
- 低效的模型使用: Insights 会评估每个前沿模型会话中任务的复杂程度,并统计其中快速完成的常规任务及其使用的 token。这些会话正是可由 智能路由 发送到更便宜模型的会话,同时将前沿模型留给真正需要它们的工作。
- 值得固化的常见工作流: 当某个工作流在至少三个会话中重复出现,或被两名工程师采用时,就应当将其固化。共享技能会预先向智能体提供这些步骤,让您不必再为智能体在每次会话中重新摸索这些步骤而付费。
数据平台上的 AI 控制平面
要发现这类浪费,需要完整记录每次智能体会话的每一个步骤,包括输入和输出、工具调用、子智能体、中间步骤、延迟以及 token 成本。独立网关只能记录经由它传输的请求。若要捕获每次会话的其余内容,您就必须自行对每个编程智能体进行插桩,然后将追踪数据导出到数据平台进行分析。
即使让 Claude Code 分析这些追踪数据,您仍然需要自行设计调查方法,而且它也不像 Genie Ontology 那样拥有您的业务地图。Insights 会运行我们在向数千名 Databricks 工程师推广编程智能体的过程中开发的调查流程。它会对会话进行抽样,并按工作类型将其归入不同工作流。随后,它会检查每个工作流中是否存在 MCP 工具故障、上下文臃肿、使用前沿模型处理简单任务以及重复工作流等问题,并按涉及的 token 数量对发现的问题进行排序。这依赖于独立网关无法具备的四项能力:
- 自动追踪每个智能体。 Unity Gateway 是编程智能体请求所经过的控制平面。当工程师使用 ug CLI启动 Claude Code、Codex 或 GitHub Copilot 时,ug 会自动开启每个智能体自身的 OpenTelemetry 追踪,因此您的团队无需进行任何插桩。追踪数据会写入 统一追踪表,这是 Unity Catalog 中由您拥有并治理的 Delta 表,采用任何工具均可读取的开放格式。
- 了解您业务的 Genie。 Genie 会编写 SQL 并读取会话。借助 Genie Ontology,其回答会使用您自己的项目名称,并体现业务中的细微差别。
- 轻松扩展至数百万条追踪记录。 Databricks SQL 能以处理最大规模数据表时同样的扩展能力和性能,查询您的完整追踪历史记录。
- 默认严格限制访问。 追踪记录包含提示词、代码和工具输出,因此,在管理员通过 Unity Catalog 授权和行筛选器授予访问权限之前,只有该表的所有者可以查询。Insights 会就地读取该表,因此您无需导出最敏感的数据即可对其进行分析。
开始使用
如果您的开发人员已通过 Unity Gateway 运行编程智能体,您现在就可以生成第一份报告:
- 设置统一追踪表 ,以便 Unity Gateway 记录追踪数据。
- 让您的团队使用以下命令启动编程智能体: ug CLI.
- 在您的工作区中,打开 AI Gateway > 可观测性 > Insights 并生成报告。有关详细信息,请参阅 Insights 文档 以了解详细信息。
在收件箱中获取最新文章
订阅我们的博客,将最新文章发送到您的收件箱。
AI 热点