持续推理的经济学：从每 token 成本到每任务成本

一个AI模型可能在评估期间证明自己的能力，但真正的考验始于用户开始大规模使用它之时。基准测试衡量的是受控条件下的模型能力；而生产环境中的服务必须在需求波动的情况下满足延迟、并发、可用性和成本目标。

长提示词会增加提示词处理需求；输出长度可变使容量更难预测；突发流量会造成排队；而KV缓存压力、为提升韧性而进行的复制，以及为应对峰值需求所需的闲置容量，都会抬高每个请求的有效服务成本。

推理不是一次性的计算事件。它是一种持续的生产负载，其成本和性能取决于流量模式、响应时间目标、模型规模、上下文长度、并发度，以及完成每项任务所需的算力。

这些经济性也因工作负载类型而差异显著：批量推理可以优先考虑吞吐量和调度灵活性，而交互式聊天、语音、检索增强生成、智能体工作流和实时决策则有着截然不同的延迟、可用性和容量要求。

这改变了AI基础设施的经济性。GPU小时费率和API价格只能说明部分问题。

真正的问题是：在约定的服务水平下，每个成功任务的成本是多少，并以首token时间、端到端延迟、可用性、质量和错误率来衡量。

每token成本在下降，应用成本却未必

AI基础设施的核心存在一个重要的悖论。推理已变得便宜得多，但token价格的下降在模型类别、地域、输入与输出token，以及预留容量与按需容量之间并不均衡。

在MMLU基准上，查询具备GPT-3.5级性能的模型的成本已大幅下降。斯坦福2025年AI指数显示，2022年11月的价格为每百万token 20美元，而2024年10月Gemini 1.5 Flash-8B为每百万token 0.07美元，约18个月内下降逾280倍。

该报告还发现，在其分析所涵盖的模型和任务中，推理成本每年下降约9倍至900倍，具体取决于所衡量的任务和模型性能水平。这一更宽泛的估计指的是推理价格的下降，而非硬件效率，也不是所有生产负载的统一下降。

单位价格下降的同时，模型正被用于要求越来越高的工作负载。推理模型可以生成多得多的token，而智能体可以进行多次模型调用、调用工具，并将上下文从一步传递到下一步。

例如，一个推理工作流可能使用较少的请求数量，但生成多得多的token，并更长时间占用加速器内存。

结果是，每token成本与每完成任务成本日益成为不同的指标。

一个完成的任务可以是一个无需升级即得到解决的客户案例、一份被正确分类的KYC文件，或一份被审核人员接受的理赔摘要。

即便是一个名义上简单的助手，也可能涉及检索、安全检查和一个生成模型；而智能体则增加了规划、重复的模型调用、工具执行和重试。

单位价格可能在下降，而完成一项任务所需的推理量却在增加。这就是为什么生产环境中的AI经济性不能止步于API价格表。当输出token、上下文窗口、重试和工具调用循环的增长速度快于单位价格的下降速度时，情况尤其如此。

对任何推理系统而言，衡量它在满足应用质量和延迟目标的同时能完成多少请求、或能生成多少token，都是有用的。

吞吐量与延迟相辅相成：它显示系统在仍满足延迟目标的情况下能完成多少工作。

延迟指AI系统对单个请求的响应速度，而吞吐量衡量它在给定时间段内能处理多少工作，通常以多个用户下的每秒请求数或每秒token数表示。对于LLM，首token时间在很大程度上受提示词处理/预填充的影响；token间延迟或每秒输出token数则反映生成/解码性能。

推理系统必须在处理传入请求的同时，平衡响应时间和硬件利用率。例如，增大批处理规模可以提高吞吐量，但更大的批次也可能增加延迟。将延迟保持在极低水平可能需要额外容量，这会在需求低迷时导致硬件利用率下降。连续批处理或动态批处理可以在管理延迟的同时提高利用率，但其有效性取决于提示词长度、输出方差、调度器设计和模型架构等因素。

这使GPU利用率成为一个财务变量。但如果高利用率导致排队并违反响应时间目标，那么更高的利用率并不自动意味着更好。

如果一块GPU无论是在处理请求还是闲置，成本都相同，那么有用输出的有效成本既反映加速器支出，也反映为满足SLA所需的配套容量。这包括CPU、内存、存储、网络出口、软件、支持和预留容量。

然而，硬件只是等式的一部分。服务引擎、批处理策略、工作负载形态、模型架构、网络、内存利用率、预填充/解码分离、请求调度与排队以及流量特征，都会影响能从该硬件中提取多少有用的推理。

对于生产环境中的AI系统，延迟既是体验指标，也是容量和成本指标。更长的请求会占用服务容量更久，这可能增加排队并降低基础设施处理后续请求的能力。这使延迟成为用户体验和推理经济性中的关键因素。

延迟的重要性因AI系统的使用方式而异。例如，在语音智能体中，性能不仅仅关乎每秒生成多少token。首次音频时间和轮次结束延迟决定了交互的响应感，而ASR、TTS、轮次检测和网络延迟会增加总体延迟。模型推理只是等式的一部分。

这使人们有必要将延迟视为不止一个单一指标。Artificial Analysis等平台体现了行业日益使用多种指标来评估推理性能。这些指标包括首token时间（TTFT），衡量请求开始生成输出所需的时间；每秒输出token数，衡量首个token之后的生成速度；以及端到端延迟，捕捉从请求到完成的全部时间。

性能还可以在不同并发水平下衡量，以显示随着同时服务的请求增多，延迟如何变化。

随着应用从简单聊天转向智能体，这种区分变得更加重要。

智能体工作流会造成串行延迟，而并行工具调用可以减少实际耗时，但会增加瞬时计算需求。

在串行智能体工作流中，延迟会在规划、检索、工具执行、验证和最终生成各环节累积。每增加一个推理步骤，都会增加完成任务所需的时间。因此，经济性既取决于推理成本，也取决于完成任务所需的时间。

如果更昂贵的模型能提高首次通过完成率、减少重试，或在满足相同SLA的前提下让单位基础设施承载更多请求，那么它的任务成本反而可能更低。

推理的行为也与训练不同。虽然部分训练工作负载对截止时间敏感，但关键区别在于，许多推理工作负载面向用户，必须同步提供服务。

训练任务通常可以等待容量，或安排到之后的时段。而面向客户的AI服务不能简单地告诉用户GPU正忙。系统可以通过将请求路由到更小的模型、缩减上下文、将非紧急工作排队进行异步处理，或回退到非AI流程来实现优雅降级。这些机制使可靠性既取决于容量规划，也取决于系统在容量受限时的响应方式。

这就带来了容量规划问题。系统需要足够的算力来应对正常需求，足够的余量来应对流量峰值，以及足够的韧性来应对硬件或基础设施故障。冗余在硬件或基础设施故障时保护可用性，而备用容量在需求峰值期间保护性能。

两者用途不同，经济性也不同。配置过少会造成延迟和可用性问题，而配置过多则会造成容量闲置。

两者都有成本，但最优权衡取决于工作负载的价值和关键程度。

这一点尤其困难，因为AI工作负载往往是突发性的。一次产品发布、一个热门功能或智能体活动的突然增加，都可能以远超传统企业工作负载的速度改变所需容量。

这意味着，生产环境中的推理应围绕需求分布、服务级别目标和故障场景来规划，而不是仅依据平均利用率。

下一阶段的推理会让这一问题更加突出。

推理模型在推理时使用更长的生成轨迹、测试时搜索、验证或多条候选路径，而智能体系统则在单个用户任务中引入多轮模型执行。

Microsoft Research估计，在现实生产假设下，一个典型的前沿规模查询在H100上运行时的能耗中位数为0.34 Wh，但当测试时扩展使token生成量增加15倍时，能耗中位数升至4.32 Wh——大约高出13倍。

话虽如此，实际能耗会因模型、硬件、批大小、利用率、token数量和数据中心开销的不同而存在显著差异。

更长的推理意味着更多token。在并发负载下，生成更多token通常会消耗更多加速器时间，这会提高排队风险，并增加维持SLA所需的容量。

智能体工作负载引入了另一个乘数。NVIDIA指出，智能体请求可能触发多次工具调用和推理步骤，因此完成任务的成本与每token成本一起，成为更有用的衡量指标。

这改变了基础设施团队预测需求的方式。话虽如此，并不存在能解决推理经济性的单一优化方案。

更广泛的意义在于，随着 AI 工作流变得更加复杂，基础设施成本越来越取决于完成一个结果需要多少算力，而不仅仅是生成了多少 token。

在多智能体系统中，单次用户操作还可能同时启动多个模型会话。因此，架构很重要：串行智能体会增加耗时，并发智能体会提高峰值资源需求，而更小的专用模型有时可以同时降低延迟和算力需求。

硬件很重要。但内存带宽、网络、模型量化、批处理、KV 缓存管理、提示缓存、推测解码、模型路由和工作负载编排同样重要。

通用云基础设施对于实验、可变工作负载以及重视弹性的组织仍然具有吸引力。这种弹性是有代价的，而且可用性可能因区域和加速器类型而异。对于实验而言，云平台还提供托管服务、模型目录和快速配置，以及更广泛的平台能力。

当利用率足够高且持续时间足够长，足以证明承诺容量的合理性时，专用基础设施可能更有意义，尤其是当应用需要对延迟、性能、韧性或数据驻留进行更严格的控制时。这一决策还取决于承诺期限、区域要求、运营能力，以及将资本锁定在专用容量中的机会成本。

因此，这一选择与其说是宣布某一种基础设施模式普遍优越，不如说是让部署模式与工作负载相匹配。应依据利用率特征、延迟 SLO、数据本地性、预期增长、承诺期限、运营成熟度和恢复要求来评估工作负载。

这正是新兴的 Neocloud 类别发挥作用的地方。

以 AI 为核心的云通常通过加速器可用性、集群/网络设计、调度、托管服务和 AI 框架支持来实现差异化。

以 AI 为核心的基础设施提供商力求在各层进行优化：计算、高速网络结构、存储、编排、推理运行时、可观测性和支持。

例如，Neysa 将 Velocis 定位为全栈 AI 加速云，将 GPU 基础设施与编排、可观测性、治理和托管推理能力相结合。

这种方法的意义不在于每个 AI 工作负载都需要专门的云。而在于，随着推理成为永久性的生产工作负载，基础设施层必须暴露并管理 AI 特有的工作负载特征，而不仅仅是提供原始加速器。

生成式 AI 第一个广泛可见的阶段强调模型参数、基准分数和 token 定价。

生产改变了这一等式，应用层面的经济性比以往任何时候都更重要。

组织需要知道其基础设施能服务多少请求、能多快响应、必须保留多少可用容量、每个任务消耗多少算力、交付的质量如何，以及这些任务失败的频率。

推理价格下降是好消息。但更便宜的 token 并不自动意味着更便宜的 AI 应用。

真正的经济优势将来自从每单位算力中获取更多有用的工作，同时保持应用所需的延迟和可用性。

这就是为什么持续推理的经济性最终归结为吞吐量、延迟、可用性、利用率和容量规划——而 token 价格只是一个大得多的等式中的一个变量。

而随着 AI 从聊天机器人转向推理系统以及持续执行工作的智能体，这一等式很可能成为生产级生成式 AI 的核心基础设施问题之一。