- 成本曲线是结构性的。AI 工具按用量计费，因此使用量呈指数级增长，而收入却不会。无限 token 和硬性支出上限都行不通，Databricks 已转向可见性加渐进式摩擦的做法。
- 四项举措可将单位成本降低多达 90%。将默认模型切换为更高效的模型，把每项任务路由到能处理它的最便宜模型，让开发者了解自己的支出，并削减 token 开销。仅凭 token 价格很难预测模型的实际成本。
- 每个工程组织都需要一个控制层。AI 网关位于开发者和模型之间，负责处理访问、路由、预算和追踪，使 AI 支出可观测、可引导、可预测。
在这次对话中，Catherine Brown 与 Patrick 讨论了 Databricks 全面投入 AI 编码智能体后发生了什么：成本最初如何随着使用量增长而螺旋上升，究竟是什么将单位成本降低了多达 90%，以及为什么每个工程组织都需要在开发者和模型之间设置一个控制层。这个控制层最初只是 Databricks 为解决自身 AI 账单而做的内部修复，后来成为了 Unity Gateway.
工程产出是瓶颈
Catherine： 你负责 Databricks 的 AI 产品，同时也是内部推动 AI 采用的倡导者。为什么这件事对你来说成了如此重要的个人优先事项？
Patrick： 因为工程产出是我们业务的主要瓶颈。每家公司都需要自己的工程团队加快速度，如果你能给他们一些真正提升生产力的东西，那价值巨大。早期的聊天产品有一定用处。但投资回报率真正发生变化，大概是在一年前，第一批真正优秀的编码模型出现的时候。
Catherine： 你如何判断自己是否从 AI 工具中获得了生产力提升？
Patrick： 我们追踪一系列产出指标：拉取请求、交付的功能和代码行数。单看任何一个都不完美。我把研发看作一台大机器。你投入资源，产出功能和代码，然后可以衡量多产出了多少。总体而言，在团队规模不变的情况下，我们的产出已接近翻倍。那些围绕 AI 重建流程的团队，速度要快得多。
从 Tokenmaxxing 到 ValueMaxxing
Catherine： Databricks 最初推出 AI 编码工具时，你们做错了什么？
Patrick： 说来有趣，一开始我们的问题恰恰相反。没人愿意尝试新东西。我到处去催人。于是我们做了大家都在做的事：移除一切障碍——最贵的模型，想要多少 token 就给多少。我觉得初衷是好的。你是想帮大家迈过这道坎。
后来人们真的开始用了，我们就看到了这条指数级的成本曲线。这些工具现在都按用量计费，而不是按席位，所以单个用户在理论上可以花掉无上限的钱。他们可以在最贵的模型上跑一个小循环，然后去吃午饭。也许那个循环确实在做很有价值的事，但也许只是在烧 token。如果你的成本指数级增长而收入没有，那么迟早会出问题。我们到了成本有可能逆转效率提升的地步，而效率提升正是我们做这一切的全部理由。
那时我开始亲自深度参与。我和我认识的其他大规模采用 AI 的科技公司领导者交流了经验（Coinbase、Uber、Stripe 等）。我们中的许多人 collectively 在采用类似的技术。如今在 Databricks，即使总使用量和价值持续上升，我们的人均 token 支出已大致持平。
别再给最好的开发者设硬性上限
Catherine： 大多数公司的第一反应是设置硬性支出上限。你们试过。结果如何？
Patrick： 这是显而易见的第一步，你确实需要这个机制。但硬性中断是很糟糕的体验。你在任务中途切断某人，他们就失去了心流，可能损失数小时的工作。而触及上限的人往往是你最好的用户。切断他们，其中一些人干脆去用个人账户，现在你什么都看不见了。
所以我们转向逐步升级的摩擦，Unity Gateway 负责处理这一切。首先警告，然后审批，接着把你降级到更便宜的模型，让你能继续工作。真正切断某人只是最后手段。我们还会定期向每个人发送其自身支出的明细，并附上节省建议。仅这一项就值大约 10%。我认识的一家公司把模型和成本直接放进每个拉取请求里。所以如果你为一件小事用了昂贵的模型，基本上就是公开处刑。我很喜欢。
最好的成本优化是开发者根本注意不到的
Catherine： 你 写过 降低这些成本的四项举措。哪一项影响最大？
Patrick： 我们最喜欢的一项有点无聊：更好、更便宜的模型不断出现，你把流量迁移过去。在专有和开源厂商之间，大概每周都有五个模型发布。并非每一个都在成本上更进一步，但也许每一两周就有一个。这是水涨船高。你花更少的钱得到同样的产出，而且没人需要改变任何东西。不需要花哨的路由，什么都不用。
让你感受一下这变化有多快：最近某个便宜模型大致相当于大约九个月前前沿模型的能力，而每任务成本约为后者的 1%。不到一年下降了 100 倍。这还只是初步结果，但方向就是这样。
问题在于你必须真正行动起来。如果新模型发布了，而你公司里没人在用，那就等于森林里一棵树倒下却无人听见。所以我们练就了快速评估新模型的能力，一旦某个模型足够好就迅速把工作负载迁移过去。因为一切都经过 Unity Gateway，我们可以在一个地方完成切换，开发者无需做任何改动。这是我们做过的影响最大的事情，单这一项就贡献了 50% 甚至更多。再加上路由、支出可见性和削减 token 开销，在某些情况下，我们的单位成本下降了多达 90%。
模型的 token 价格并不能很好地预测其实际成本
Catherine： 你的团队 基于 Databricks 自身数百万行的代码库对编码智能体进行基准测试. 为什么不直接相信公开基准测试呢？
Patrick： 公开基准测试并不能告诉你太多关于你自己代码的信息。任务会泄漏进训练数据，而且它们看起来也不像大型企业代码库。所以我们用仓库中真实的拉取请求自建了一套评测，并通过实际运行测试来评分。我们不用 LLM 当裁判，因为那往往会奖励听起来正确而非真正正确。
有些结果让人意外。一个开源模型 GLM 5.2 在质量上追平了 Opus 4.8，而每个任务的成本低约三分之一。有一个模型每 token 便宜 1.7 倍，但每个任务反而更贵，因为它消耗了更多 token。而 harness，也就是模型周围的编码工具，其重要性几乎与模型本身相当。同一个模型，不同的 harness，成本相差超过 2 倍。仅仅调整我们的 harness 和缓存设置，就为我们节省了近 50%。
前沿模型用于前沿问题
Catherine： 最便宜和最贵的模型之间差距可达 100 倍。工程负责人应该如何理解这个区间？
Patrick： 把它想象成汽车。有兰博基尼、本田和自行车。你不需要每次出行都开兰博基尼，大多数编码工作也不需要最大的模型。
Astra 就是一个很好的例子。我们把它推广给了每一位工程师，大约 3,500 人，据我们所知，我们是第一家 公开分享此类推广. 它在系统设计这类难题上明显更好。但支出增加了约 60%，而且在日常任务上并没有明显帮助，现有模型已经能很好地处理这些任务。其中很多是浪费，人们把 Astra 用在本该用其他模型的事情上。所以我们在 Unity Gateway 中给它单独设了预算。把它用在难题上。
长期来看，我不知道这会走向哪个方向。便宜模型不断接管更多常规工作，但人们也在向 AI 抛出越来越难的问题。这某种程度上正是重点。你希望能朝任一方向灵活调整。
模型路由是新的 AI 战场
Catherine： 你主张 AI 成本是基础设施问题，而不是采购问题。为什么预算和政策解决不了？
Patrick： 预算有帮助，但预算无法决定哪个模型应该处理某个请求。那就是路由。重命名一个组件交给便宜模型；一个困难的开放式问题交给能力强的模型。我们的 Smart Router 将平均任务成本降低了 30% 以上，而质量大致相当于最贵的模型。它还让我们不再需要让用户决定何时使用更贵的模型……那会自动发生。
要做到这些，你需要在开发者和模型之间加一层。我们自建了这一层，因为不得不做。我们所有编码工具的流量都经过一个网关，无论是 Claude Code、Codex、Cursor，还是 Omnigent, 我们的元 harness。正是它让我们真正看清了钱花在了哪里。然后我们意识到每个客户都有同样的问题，于是把它产品化为 Unity Gateway。现在有数千家客户在使用它。
Catherine： 路由最终会变得和模型本身一样具有竞争力吗？
Patrick： 这是我们的看法。随着模型利润变薄，弄清楚哪个模型用于什么用途，是一个相当有意思的领域。路由模型必须小而快。而且要做好本身就很难。在实际使用这些模型方面，有很多开放的研究问题，我认为把它做对蕴含着真正的知识产权。
你无法优化你看不见的东西
Catherine： 如果你能给一位正盯着不断增长的 AI 账单的 CTO 一条建议，那会是什么？
Patrick： 弄清楚钱花到哪里去了。大多数公司无法告诉你他们按团队或按模型在 AI 上花了多少，更不用说是否划算。在你的模型前面放一个网关，让所有流量都经过一个地方，你就能看见。之后其他一切都会变得更容易。而且不要放慢脚步。生产力提升是真实的。但这些东西会复利累积，如果你等待，账单会比你想象的大得多。
AI 账单正在到来，但它不必成为赢家
Patrick 给工程负责人的信息是，你不必在 AI 生产力和成本控制之间二选一。做对这件事的公司保持对最佳模型的广泛访问，在自己的代码上测试新模型，一旦便宜模型足够好就迁移过去，并给开发者可见性而不是围墙。在这一切之下是一个控制层，一个网关，让 AI 支出成为你可以看见和引导的东西。在 Databricks，这一层成为了 Unity Gateway。
要了解更多关于 Databricks 如何管理自身 AI 编码支出的信息，请阅读 Patrick 的博客“大规模管理 AI 编码成本,” 并试用 Databricks Unity Gateway.
在收件箱中获取最新文章
订阅我们的博客，将最新文章发送到你的收件箱。