AI FinOps ①：传统 FinOps 为何管不住 AI 成本

가

文章正文内容将改为此字号。

滚动移动状态栏

随着人工智能（AI）的快速普及带来意外账单的风险，AI 支出已成为企业日益关注的问题。本系列探讨旨在实时管理 AI 成本并减少浪费的 AI FinOps 策略。

生成式 AI 成本难以预测，因为企业不仅要为模型使用付费，还要为推理、图形处理器（GPU）、应用程序编程接口（API）和 AI 智能体执行付费。仅靠传统的云成本管理方法无法充分控制这些费用。

如果没有系统化的管理框架，这种波动性往往会导致意外的预算超支。

根据 DevOps 平台提供商 Harness.io 对约 700 名全球企业 IT 负责人开展的《2026 年 FinOps 中的 AI 现状》调查，超过 67% 的企业每月在 AI 上的支出至少为 25 万美元。然而，73% 的 AI 项目因 AI 工作负载费用难以预测而超出预算。

专家指出，传统云 FinOps 在 AI 环境中失效的四大原因：基于 token 的计费、多模型环境、模型的快速演进，以及代码生成和智能体工作流的加速。

1. Harness.io 于 5 月和 6 月对约 700 家全球企业开展的调查发现，67% 的企业每月为 AI 分配至少 25 万美元，而近 20% 的企业每月 AI 预算接近 100 万美元。下方表格展示了调查中关于哪些部门负责 AI 成本的回答。（来源：Harness.io，《2026 年 FinOps 中的 AI 现状》）

与资源消耗往往遵循相对可预测模式的传统云运营不同，AI 模型以概率方式运行。即使提示词完全相同，生成的回答在内容和长度上也可能不同，从而导致成本不同。这种波动性使得即使已知总使用量，也难以准确预测成本。

生成式 AI 服务还施加严格的速率限制，例如每分钟 token 数（TPM）和每分钟请求数（RPM）。由于硬件限制，应对峰值需求所需的大容量缓冲尤其难以像传统云资源那样灵活扩展。因此，多步骤 AI 智能体必须共享有限容量，而推理模型在每次执行期间可能消耗数量难以预测的 token。

容量分配也因性能要求而异。部门或团队级别的共享容量提供按需付费的灵活性，但在需求高峰期可能导致延迟增加和容量短缺。

相比之下，预置容量提供专用资源，可确保性能稳定和低延迟。然而，各提供商在吞吐量、合同承诺和超额使用政策方面差异显著。这些政策包括硬性限制，即在达到预设预算或 token 或请求阈值后阻止进一步使用；以及溢出或软性限制，即允许请求继续，但对超额消耗收费。协调这些复杂的定价安排是一大挑战。

不透明的 token 定价进一步强化了对 AI FinOps 的需求。

决定 AI 使用费用的 token 不如每月 CPU 小时数或存储容量（以 GB 计）等传统云计费指标直观。即使是相同的文本查询，根据模型和分词器的不同，也可能产生差异很大的 token 数量。上下文长度、区域、量化级别和托管安排等其他因素，使准确定价更加困难。

2. 根据 Harness.io 的数据，缺乏成本可见性导致 AI 支出浪费。在约 700 名受访者中，三分之一表示，由于归属和可见性方面的缺口，查明 AI 运营问题的原因需要一周以上，在此期间 AI 成本持续累积。超过半数受访者（57%）表示，他们鼓励“tokenmaxxing”，即无论业务成果或价值如何，都最大化员工的 AI 使用量。Harness.io 估计，因此每月 AI 预算中有 26% 被浪费。（来源：Harness.io，《2026 年 FinOps 中的 AI 现状》）

token 对细微变化很敏感。仅仅在提示词中移动一个逗号或切换模型版本，就可能显著改变回答长度、模型行为，并最终改变成本。

AI 服务提供商有时会在没有事先通知的情况下发布新的模型快照，这反映了 AI 开发和部署的快速节奏。这意味着成本管理还必须考虑提示词工程等技术因素。

Anthropic、OpenAI、Google、SpaceXAI、Meta、Moonshot 和 ZAI 是目前被视为领先前沿模型开发者的六七家公司之列。其前沿模型的重大升级通常约每六个月进行一次，而中间版本（如 .5 版本）和小幅升级则每一到三个月发布一次。例如，GPT-6.1 在 GPT-6 发布后不到一个月便已公布，而 Claude Sonnet 5.5 则在 5.0 版本发布三个月后推出。

即便是中间版本和小幅升级，也能带来显著的性能提升，有时甚至超越现有的前沿模型。这种快速的技术进步可能使最先进（SOTA）模型在数月内便过时。

AI FinOps 必须频繁且实时地更新，以跟上 AI 模型的快速变化。

另一个挑战是，即使任务失败，AI 也可能消耗数千个昂贵的 token。反复调试提示词也可能产生价值甚微的长篇输出，从而累积额外成本。因此，与传统云环境不同，企业 AI 运营需要具备检测故障并控制由此产生费用的策略。

更广泛、更多元的服务提供商群体也使 AI FinOps 策略更加复杂。生成式 AI 提供商不仅包括模型开发者，还包括云服务提供商。

3. Harness.io 的研究表明，企业同时使用多个 AI 和云提供商，会使计费系统碎片化并造成低效。AI 还会增加基础设施、软件（包括 copilot 等 SaaS 许可证）以及更广泛运营环境中的成本，而不仅仅是模型使用成本。（来源：Harness.io，《2026 年 FinOps 中的 AI 现状》）

同一模型既可能通过其开发者自有的托管 API 提供，也可能通过 Microsoft Azure、Amazon Web Services（AWS）和 Google Cloud Platform（GCP）等平台提供。定价、区域、API 端点和合同条款可能差异很大。

这造就了一个比传统云定价更复杂的采购环境。企业可自行微调的开源权重模型进一步扩大了可选方案，增加了成本管理的复杂性。

维持 AI 服务可用性并实施故障转移还带来额外挑战。云服务通常通过多区域策略应对中断，但主要 AI 提供商发生故障时，可能同时影响其平台上托管的所有模型。通过模型路由切换到替代服务更为复杂，因为这可能需要修改提示词和调整架构，同时性能和成本特征也可能不同。

传统云 FinOps 与 AI FinOps 也共享若干基本特征。

两者都源于高效管理基于使用量的资源的需求。与云服务一样，AI 平台通常采用按需付费的定价模式，因此成本预测、使用可见性、成本分配以及防止支出失控的治理同样重要。正如被遗弃的云实例会继续产生费用一样，未受管理的 AI 智能体也可能产生不必要的 token 成本。因此，两种环境都需要严格的资源管理。

除基于使用量的定价外，这两个领域在专用容量和基于承诺的折扣方面也有相似之处。与云计算中的预留实例和 Savings Plans 类似，AI 提供商通过承诺使用量或预置容量协议来确保性能，以换取更低的单价。企业需要精细的预测和承诺管理策略，以尽量减少浪费并最大化折扣。

基于性能和成本效益的模型选择是另一项共同原则。正如选择合适的云实例类型或库存单位（SKU）是云 FinOps 的核心，AI FinOps 需要选择与工作负载需求相匹配的模型。对于较小模型即可处理的任务，没有理由使用昂贵的前沿模型，正如简单工作负载不需要昂贵的 GPU 实例。随着需求和大型语言模型（LLM）的演进，这两种方法都需要持续进行合理配置，并验证低成本替代方案。

这两个领域还需要超额配置策略来降低风险。分配备用资源有助于应对中断和性能问题。正如云运营商会跨可用区部署备用实例，AI 运营商需要额外容量来应对流量高峰。挑战在于平衡服务可靠性与成本，同时在多供应商环境中保持韧性。

通过标签进行资源跟踪是另一项常见做法。云资源通过标签来分配成本和建立问责制，类似的标签也可应用于 AI 使用数据，包括 API 请求。这使企业能够按功能、产品或团队跟踪和分配 AI 支出。

自动化使用配额控制，例如关闭闲置资源和设置 API token 限制，也是云和 AI 环境中有效的成本管理策略。由于这些相似之处，拥有成熟云 FinOps 框架的组织可以将类似方法应用于 AI FinOps。

Hyun-Seon, Park hspark@thelec.kr

我的评论