Databricks 谈 AI 编码成本治理:单位成本最高降 90%
Databricks 产品负责人 Patrick 复盘公司全面采用 AI 编码智能体后的成本失控问题,称通过迁移到更便宜的模型、路由、支出可见性和削减 token 开销,部分场景单位成本下降最多 90%。他提到硬性预算上限会打断最好的开发者,因此改用警告、审批、降级模型的渐进式摩擦,并把内部方案产品化为 Unity Gateway。团队用自家代码库真实 PR 自建评测,发现 GLM 5.2 在质量上追平 Opus 4.8 且每任务成本低约三分之一,而某个每 token 便宜 1.7 倍的模型因消耗更多 token 反而每任务更贵。
。这些工具现在都按用量计费,而不是按席位,所以单个用户在理论上可以花掉无上限的钱。他们可以在最贵的模型上跑一个小循环,然后去吃午饭。也许那个循环确实在做很有价值的事,但也许只是在烧 token。如果你的成本指数级增长而收入没有,那么迟早会出问题。我们到了成本有可能逆转效率提升的地步,而效率提升正是我们做这一切的全部理由。 那时我开始亲自深度参与。我和我认识的其他大规模采用 AI 的科技公司领导者交流了经验(Coinbase、Uber、Stripe 等)。我们中的许多人 collectively 在采用类似的技术。如今在 Databricks,即使总使用量和价值持续上升,我们的人均 token 支出已大致持平。 别再给最好的开发者设硬性上限 Catherine: 大多数公司的第一反应是设置硬性支出上限。你们试过。结果如何? Patrick: 这是显而易见的第一步,你确实需要这个机制。但硬性中断是很糟糕的体验。你在任务中途切断某人,他们就失去了心流,可能损失数小时的工作。而触及上限的人往往是你最好的用户。切断他们,其中一些人干脆去用个人账户,现在你什么都看不见了。 所以我们转向逐步升级的摩
匹配字段正文
