为什么 token 成本无法说明企业 AI 是否奏效

企业 AI 正在经历一个熟悉的周期。起初，各组织全力投入，追求规模最大、能力最强的模型，因为这项技术令人兴奋，而账单尚未到来。当账单真的到来时，反应也同样可以预料：团队开始限制访问、减少实验，并寻找更便宜的模型。

Databricks 联合创始人兼 CEO Ali Ghodsi 将这一周期的早期阶段称为“tokenmaxxing”，即把消耗更多 token 视为进步的证明。更重要的阶段是“valuemaxxing”，也就是弄清这些支出究竟产出了什么，并将其导向真正重要的工作。

这不仅仅是成本优化的一个新名称。成本优化问的是组织如何少花钱，而 valuemaxxing 问的是如何从花出去的钱中获得更多回报。随着 AI 从孤立的实验走向日常企业运营，这一区别将变得越来越重要。

许多组织在启动 AI 项目时，几乎对每项任务都使用可用的最强大模型。在早期实验阶段，这种做法是合理的，因为当时团队试图了解这项技术能做什么，模型能力比可预测性更重要。

然而，随着部署规模扩大，为每个请求都使用前沿模型的成本变得难以合理化。一些组织的反应是限制访问或要求团队少做一些，但宽泛的限制在抑制真正浪费的同时，也可能压制有用的实验。

一种更成熟的做法正在出现。团队开始将更小、更专用的模型匹配到日常工作上，同时把能力更强的模型留给需要复杂推理或失败代价很高的任务。随着时间推移，一些组织还可能在自己的基础设施内部署模型，以便更好地控制成本、性能和敏感数据。

重要的问题不在于大模型还是小模型更好，而在于该模型是否适合这项工作，以及结果是否足以证明产生它的总成本是合理的。

Token 显示的是活动，而非价值

大多数企业 AI 仪表盘都是围绕消耗构建的。它们显示用了多少 token、哪些模型处理了这些 token，以及组织花了多少钱。这些数字是必要的，但它们并不能揭示工作是否产生了有用的结果。

一个消耗两倍 token 的团队未必创造了两倍的价值。它可能是在处理更困难的工作，可能使用了不必要地强大的模型，也可能依赖一个反复重试失败任务的智能体。如果一项工作负载能防止故障、解决客户问题，或为员工节省数小时宝贵时间，那么即使模型成本很高，它仍可能是一笔极佳的投资。

同样的问题在可观测性领域已存在多年，只不过计量单位是 GB 而非 token。团队一开始什么都收集，因为最大可见性似乎是最安全的策略。当存储和处理账单增加时，他们开始对数据采样、缩短保留期，并丢弃上下文以控制开支。

在这两种情况下，面对成本上升，常见的反应往往是少做一些。组织真正需要的，是能够识别哪些活动有价值、哪些是浪费，以及哪些可以在不牺牲结果的前提下变得更高效。

一次模型调用很少构成完整的 AI 工作负载。智能体在给出答案之前，可能会检索文档、查询数据库、搜索遥测数据、调用外部服务，并产生新的应用或基础设施活动。

设想一个智能体正在调查为什么某次部署后结账延迟上升。它可能会检查日志、比较指标、查看追踪、检索部署记录，并分析下游服务。如果它的第一个假设不成立，它可能会调整时间窗口、用不同的服务名称搜索，并追查几种替代原因。

因此，一条人类指令可能产生数百个机器生成的操作。这些操作消耗计算、存储输入和输出、网络容量以及第三方 API 配额，而其中任何一项都可能不会出现在组织的模型支出仪表盘上。

这意味着一个看似便宜的模型可能支撑着一个昂贵的工作流。能力更强的模型每次调用可能更贵，但能以更少的步骤得出正确结论，从而需要更少的重试和更少的基础设施支持。要做出这种比较，唯一的办法是观察完整任务。

连接活动、成本与结果

Valuemaxxing 要求组织将三类通常分开衡量的信息连接起来。

第一类是 AI 活动，包括模型选择、token 消耗、延迟、工具调用、重试和并行分支。第二类是由这些活动产生的基础设施和财务成本，包括计算、存储、网络使用、数据库负载和外部 API 费用。第三类是结果，它应当表明工作是否成功完成，以及是否有人觉得结果有用。

并非每个结果都需要换算成精确的美元金额。一个实用的衡量指标可能就足够了，例如答案是否被接受、是否有人不得不重做这项工作、某起事件是否被更快解决，或者某个自动化工作流是否在无需人工干预的情况下完成。

例如，一次事件调查即使生成数百次查询，只要能帮助工程师提前 30 分钟恢复关键服务，就可能是值得的。一个规模小得多的工作流如果产出一份无人阅读的报告，仍然可能是浪费的。仅凭 token 消耗无法区分这两种情况。

一旦组织能够将活动与结果联系起来，它们就可以有意识地决定在哪些地方使用前沿模型、在哪些地方更小的模型就足够，以及在哪些地方需要重新设计工作流。

理解 AI 价值需要访问敏感上下文。提示词、补全内容、源代码、客户信息和生产遥测数据都可能属于同一个工作流。

组织不应仅仅为了了解其 AI 系统的运行情况，就不得不将这些信息导出到外部服务。让衡量变得有用的提示词和生产上下文，可能正是安全、隐私和合规团队不允许离开组织环境的信息。

因此，企业领导者应当询问：他们的 AI 和可观测性数据在哪里处理、谁可以访问、保留多长时间，以及分析能否在现有的安全边界内进行。良好的治理依赖于可见性，但这种可见性绝不能制造新的数据控制问题。

将分析保持在底层数据附近，也更容易把 AI 活动与其影响的应用程序、基础设施和业务流程联系起来。正是这种完整的视图，让团队不仅能了解他们花了多少钱，还能了解这些支出带来了什么回报。

为价值而优化，而非为数量而优化

在企业 AI 的下一阶段取得成功的组织，未必是那些使用最多 token 或花费最少的组织。它们将是那些能够看清哪些模型和工作负载产生了有意义的结果，并利用这一认识来指导部署的组织。

这需要超越孤立的模型成本仪表盘。团队需要观察从用户请求经过模型调用、工具、基础设施直到最终结果的完整路径，同时将敏感信息置于适当的组织控制之下。

Tokenmaxxing 是一个有用的阶段，因为它鼓励了实验并揭示了 AI 能做什么。Valuemaxxing 是必须紧随其后的纪律，它将可见性、成本和结果结合起来，使组织能够继续实验，而不会失去对支出或数据的控制。

企业 AI 不必仅仅因为第一批账单已经到来就变得更小。它需要变得更有章法，让投入与难度相匹配、模型与任务相匹配、支出与可衡量的价值相匹配。