人工智能
在 Amazon Bedrock 上优化每任务成本并证明智能体 ROI第 1 部分 本系列介绍了控制 Amazon Bedrock 支出的运营模型:使用 AWS Identity and Access Management (IAM) 主体标签和 Cost and Usage Report 2.0 进行归因,通过模型调用日志实现可观测性,在三个层级实施管控,并建立审查节奏。这一层回答了“是谁花的钱”,并且你可以阻止他们继续花费。但它无法告诉你这笔支出是否花得值。
本文回答第 1 部分有意留下的两个问题。第一:为什么这个工作流成本高昂?答案需要从每任务成本而非每 token 成本的角度来思考。第二:智能体是否比人类做得更好?答案需要基线、受控实验以及与决策挂钩的记分卡。
在本文中,你将了解一个用于计算真实模型成本的框架(包括定价页面上未展示的四项隐性成本驱动因素)、通过缓存、路由和输出约束降低每任务成本的技术,以及一套通过人工基线、留出实验和五维记分卡来衡量智能体 ROI 的方法。本文面向两类读者:掌握优化杠杆的应用和平台工程师,以及需要向领导层证明智能体支出合理性的产品负责人和 FinOps 合作伙伴。
每任务成本,而非每 token 成本
每 token 价格便于快速比较,但它并不反映你实际支付的费用。公布的价格反映的是单个 token 的成本。你的账单反映的是完成一项任务的成本。任务是你的应用要求模型完成的一个完整工作单元:解决一封支持邮件、从一张发票中提取字段,或回答一个用户问题。一项任务从请求开始,一直到产生可用的结果,无论需要多少次模型调用。
价格更低的模型,运行起来未必更便宜。更便宜的模型可能把你的文本切分成更多 token、用废话填充回复、误读你的工具 schema 并反复循环纠错,或者在回答前消耗数千个推理 token。这些成本都不会出现在 Bedrock 定价页面.
四项隐性成本驱动因素
四项模型特征决定了那个公布的价格在你的工作负载上实际会花掉多少钱。
分词器效率
token 不等于单词,而且在不同模型之间也不对等。每个模型系列都使用不同的分词器和词表。相同的文本、代码或 JSON 载荷会被切分成不同的 token 数量。如果模型 A 的标价低 15%,但它的分词器处理你的数据需要多 40% 的 token(在结构化 schema 和数值数组上很常见),那么模型 B 更便宜。对于非英文文本,这一差距会进一步扩大:许多分词器会把非拉丁文字切分成比等量英文多两到三倍的 token。
输出对齐与冗长度
输出 token 的成本通常比输入 token 高 3–5 倍(比例因模型系列而异。请参阅 Bedrock 定价页面)。一个忽略“仅返回原始 JSON”等格式约束的模型,会让你为填充词支付这笔输出溢价。一个严格遵循格式指令的模型则能通过生成更少这类更昂贵的输出 token 来节省成本。
智能体循环效率
智能体工作流彻底改变了成本计算方式。 工具使用(函数调用) 允许模型调用外部函数,这需要一个多轮循环:分析提示词、决定调用工具、等待观察结果、生成答案。每一轮都会将完整的对话历史和工具结果作为输入 token 重新发送。一个需要四轮(每轮都重新发送更大的上下文载荷)的模型,其成本远高于一次就能完成的模型。
推理开销
许多模型支持 扩展思考,在给出可见答案之前先进行思维链推理。推理 token 按输出 token 计费,因此一个模型如果在给出 200 token 的答案前先思考 2,000 token,就会向你收取 2,200 token 的费用。有些模型会对推理内容进行脱敏处理,却仍然对其收费。开始时先关闭推理,只有当基准测试显示出足以证明成本合理的质量差距时,才启用它。
每任务成本:一个完整示例
图 1:在五个成本维度上比较两个模型。标价只是决定实际成本的五个因素之一
考虑一个智能体工作流:它读取一封 750 词的客户邮件,提取实体,调用 API 验证账户状态,并输出严格的 JSON。以下比较使用示例价格(请始终基于你自己的数据和当前的 Bedrock 定价):
| 指标 | 模型 A(标价较低) | 模型 B(标价较高) |
| 输入标价 | $0.50 / 100 万 tokens | $1.00 / 100 万 tokens |
| 输出标价 | $1.50 / 100 万 tokens | $3.00 / 100 万 tokens |
| 分词器效率(第 1 轮输入) | 1,500 tokens | 1,000 tokens |
| 输出冗长度(最终响应) | 450 tokens | 150 tokens |
| 所需的智能体循环轮次 | 3 轮(错误纠正) | 1 轮(零样本) |
| 所有轮次的累计输入 token | 6,150 | 1,000 |
| 所有轮次的累计输出 token | 750 | 150 |
| 任务总成本 | $0.0042 | $0.00145 |
模型 A:(6,150 x $0.50 + 750 x $1.50) / 1,000,000 = $0.0042
模型 B:(1,000 x $1.00 + 150 x $3.00) / 1,000,000 = $0.00145
图 2:为什么价格更高的模型成本反而低 65%。每多一轮都会重新发送不断增长的上下文载荷,使账单不断累积
为什么标价高 2 倍的模型成本反而低 65%: 三个叠加因素。模型 A 的分词器把邮件切分成多 50% 的 token,使每次输入载荷都膨胀。它用填充内容塞满 JSON,使输出 token 增至三倍。而且它与工具 schema 不匹配,需要两轮纠正,而每轮都会重新发送不断增长的历史记录。
每个成功任务的成本
前面的示例假设两个模型最终都会成功。在生产环境中它们不会,而失败很少是免费的。公式如下:
对于重试直至成功的工作流:
cost per successful task = cost per attempt / success rate
对于失败即升级的工作流:
cost per successful task = cost per attempt + (1 - success rate) x escalation cost
当以下情况启用时,输入进一步分为三类: 提示缓存 处于活动状态:未缓存输入按基础费率计费,缓存读取低于基础费率,缓存写入高于基础费率。
在您自己的工作负载上衡量
哪个模型实际上更便宜,只有在您用自己的数据进行基准测试时才会显现出来。 Amazon Bedrock 模型评估 是用于质量这一半的托管功能:定义标准、上传提示数据集,并获得带有自动指标和可选人工审核的评分结果,无需自定义基础设施。
不过,仅凭质量分数并不会产生账单。另外三项 Bedrock 功能提供了您用来定价的 token 和轮次计数:
- CountTokens 返回给定模型对给定载荷将收取的输入 token 数,而无需运行推理。这是在您在生成上花费任何费用之前,比较各候选模型分词器效率(驱动因素 #1)的最便宜方式。
- 模型调用响应会携带一个
usage块,其中包含inputTokens,outputTokens,cacheReadInputTokens,以及cacheWriteInputTokens。在单个任务的各轮次中累积这些数据,就能得到前述每次尝试成本公式的四个项。一个需要注意的地方是:启用缓存时,inputTokens只统计未缓存的 token,因此你的总输入量为inputTokens + cacheReadInputTokens + cacheWriteInputTokens。将它们相加即可了解总体规模,但要分别计价,因为这三类按不同费率计费。在你的整个过程中要多次评估这一点,并根据当前实际活跃负载来设置缓存检查点。随着应用程序推进、工具逐渐过时,缓存检查点会发生漂移。这意味着,在漂移发生后的 3 个月里,你会向缓存写入更多内容。持续评估数据以实现最优缓存使用,成为降低成本的主要杠杆。 - 模型调用日志记录 会将每次调用的 token 计数写入 Amazon Simple Storage Service(Amazon S3)或 Amazon CloudWatch Logs,因此你可以基于真实生产流量而非样本,衡量从开始到完成的轮次。为调用打上 请求元数据 按团队、功能或实验对这些记录的 token 计数进行切分。然而,这些是日志字段,而不是成本分配标签,并且永远不会出现在 AWS Cost Explorer 或您的成本和使用报告中。 应用程序推理配置文件 确实会同时到达两者,粒度为每天每种使用类型。该粒度适合费用分摊,但对于每任务成本来说过于粗糙。将记录的 token 计数乘以公布费率,得到的是近实时估算值,而不是发票。除非您对其进行建模,否则它不会反映承诺、批量定价或预置吞吐量。在将其视为账单之前,请先与您的成本和使用报告进行核对。
降低每任务成本:四个杠杆
四个驱动因素各有一个杠杆,且每个都有深入文档说明。 提示缓存 减少了使 Model A 变得昂贵的重复发送上下文,这使其成为智能体路径上最大的收益。 智能提示路由 将简单请求发送给同一系列中更便宜的模型。 工具模式 加上 maxTokens 上限,比文字说明更可靠地抑制冗长输出,并且在基准测试证明其能收回成本之前,不启用扩展思考。 批量推理 将批量单轮工作的费率减半,不过它排除了工具调用和多轮交互。
证明智能体 ROI:描述人工基线
高效并不等同于有价值。一个智能体可以经过完美优化,却仍然不值得运行。决定预算的问题是:这个智能体是否比原来的人工做得更好?
先记录人工流程
智能体 ROI 中最大的错误,是在尚未描述人工工作流之前就试图证明价值。在构建或扩展智能体之前,先用运营语言写下当前流程:什么触发了这项工作、涉及哪些人工角色、交接点在哪里、完成如何定义。这听起来像官僚主义,实际上这是测量设计。下游的每一个埋点决策(什么算一次运行、什么算成功、人工时间花在哪里)都源自这一描述。
在智能体上线前测量基线
流程描述清楚后,在一个有意义的窗口期内测量人工基线:完成时间、排队时间、实际投入、重开率、升级率、每任务成本和结果质量。基线必须在智能体上线前测量,而不是事后凭记忆重建。回顾性基线会系统性地美化智能体:人们记得平均情况,却忘了那些快的。
将工作流作为实验进行埋点
基线建立后,从第一天起就把智能体工作流当作实验来埋点。每次运行都获得一个 trace ID,每个有意义的步骤都可观测。工作流运行记录将模型调用之上的所有内容聚合为一个可分析单元:
{
"runId": "run-8f3a2c",
"workflow": "renewal-risk-summary",
"agent": "renewal-agent",
"principalArn": "arn:aws:sts::123456789012:assumed-role/BedrockRuntimeRole/gw-alex",
"team": "sales-ai",
"costCenter": "CC-2041",
"experiment": {
"variant": "treatment",
"holdout": False,
"promptVersion": "v14",
"policyVersion": "2026-07"
},
"ops": {
"latencyMs": 41200,
"retries": 1,
"toolCalls": 6,
"humanApprovals": 1,
"humanMinutes": 35,
"escalations": 0
},
"econ": {
"inputTokens": 48210,
"outputTokens": 3105,
"cacheReadTokens": 31500,
"estCostUsd": 0.87
},
"outcome": {
"status": "success",
"accepted": True,
"reopened": False,
"revenueEventId": "opp-44121"
}
}
有三个字段值得强调:
实验块: 在运行创建时打上标记,并传播到 Bedrock 中 请求元数据,因此模型级和工作流级记录可以干净地关联起来。
人工分钟数: 大多数团队遗漏、却最需要的东西。缺少它,“智能体完成了工作”就会悄然排除掉人类花在审查上的那 35 分钟。
revenueEventId: 让后续收入归因成为可能的挂钩。记录它不花任何成本,而且事后无法重建。
规则是:如果工作流遥测无法回答业务问题,那么埋点就是不完整的。
将成本与结果关联起来
借助 调用日志 落地到 Amazon S3(第 1 部分),以及分析存储中的工作流运行记录,一次关联就能生成真正重要的指标。Amazon Bedrock 日志记录的是 token,而不是美元,因此首先要构建一个视图,根据 token 数量和你的模型费率表为每次调用定价,并按运行 ID 聚合。然后用 Amazon Athena:
SELECT
w.workflow,
w.variant,
COUNT(*) AS runs,
SUM(IF(w.outcome_status = 'success', 1, 0)) AS successes,
ROUND(SUM(c.est_cost_usd) /
NULLIF(SUM(IF(w.outcome_status = 'success', 1, 0)), 0), 2)
AS cost_per_success,
ROUND(SUM(w.retries) * 1.0 /
NULLIF(SUM(IF(w.outcome_status = 'success', 1, 0)), 0), 2)
AS retries_per_success,
ROUND(SUM(w.human_minutes) /
NULLIF(SUM(IF(w.outcome_status = 'success', 1, 0)), 0), 1)
AS human_min_per_success
FROM workflow_runs w
JOIN invocation_costs_by_run c ON c.run_id = w.run_id
GROUP BY w.workflow, w.variant
ORDER BY cost_per_success DESC
注意: 上一查询中展示的列名和连接键仅为示例。请对照你的调用日志架构和工作流遥测存储进行核实,这些可能因实现而异。
每次成功结果的成本、每次成功所需的尝试次数,以及每次成功所耗费的人工分钟数,是三个能经得起挑剔的CFO审视的数字。每次调用的成本会让那些反复循环的智能体显得很划算。每次成功的成本则不会。注意变体分组:同一个查询按实验分组拆分,就是ROI对比。
正确比较智能体与人类
最可信的评估方式是 A/B 测试或留出测试。受控的处理组和对照组将智能体辅助的工作流与人工基线进行比较,从而避免将结果与市场、季节性变化或组织变化相混淆。
对于面向客户或与收入挂钩的工作流,应在访客、潜在客户、账户或案例层面进行随机化。对于内部工作流(支持运营、编码助手),应使用匹配的群组:团队、代码仓库组或小组。
该比较涵盖四个维度:
效率: 完成时间、节省的工时、队列时间缩短。
质量: 错误率、批准率、重开率、升级率。
成本: 每任务成本、每成功结果成本、总服务成本。
业务价值: 转化提升、留存提升、扩展率、每位销售代表或每个工作流的收入。
如果智能体在一个维度上有所改善,却在另一个维度上明显退化,那么结果就是模糊的,部署就需要调优。
收入:最难衡量的指标
效率提升是 ROI 论证中最容易证明的部分。收入影响则更难衡量,而它正是管理层据以投入资金的指标。在与收入相关的工作流中,要衡量智能体是否提升了转化率、响应时间、交易推进情况或每位销售代表的收入。留出测试是将智能体带来的增量收入与整体业务增长势头区分开来的最可靠方法。
当收入提升真实存在时,对话的性质就变了。组织不再追问 Bedrock 账单是否上涨,而是开始追问这笔额外支出是否换来了业务产出的实质性增长。
记分卡
根据我们在与客户合作中的观察,一个强有力的运营模型并不需要五十个指标。真正有效的是一个与决策挂钩的小型记分卡,并按固定节奏对每个生产环境中的智能体进行审查。
以下阈值只是起点,并非规定。请根据您自己的车队数据和组织背景对其进行校准。
| 维度 | 指标 | 绿色 | 黄色 | 红色 |
| 采用率 | 活跃用户 / 目标用户 | >70% | 40-70% | <40% |
| 质量 | 无需返工即可完成的任务 | >90% | 75-90% | <75% |
| 效率 | 每周节省的工时 | 目标 | 目标的50-100% | <40% |
| 成本 | 每成功结果成本 | ≤预算 | 1-1.5 倍预算 | 1-1.5 倍预算 |
| 业务影响 | 与基线相比的 KPI 提升 | 显著 | 边际 | 无或负值 |
绿色表示规模化:智能体在满足成本和质量阈值的同时优于基线。黄色表示调优:有前景但仍需改进。红色表示退役或重新设计:智能体消耗成本却没有足够可衡量的价值。真正愿意让红色智能体退役,正是让记分卡其余部分可信的关键。
结论
在本文中,你了解了如何通过考量四项隐性成本驱动因素(分词器效率、输出对齐、智能体循环效率和推理开销)来计算模型的真实成本,如何通过提示缓存、模型路由、输出约束和批量推理来降低每任务成本,以及如何通过衡量人工基线、将工作流作为实验进行埋点、将成本与结果关联并进行留出对比来证明智能体 ROI。
成本优化这一半回答了“为什么这么贵,以及我该如何解决”。ROI 这一半回答了“智能体是否比原来的人工更好”。结合第 1 部分的运营模型(归因、观测、执行、优化、运营),它们构成了一个完整的框架:你可以看到是谁花的钱、解释为什么花、减少浪费,并为剩下的部分提供依据。
首先,使用以下方法,以你自己的提示词对最优秀的候选模型进行基准测试: Amazon Bedrock 模型评估,从 usage 调用日志中捕获 token 数和轮次,按当前 Bedrock 定价计价,再除以成功率。关于 ROI 衡量,请参阅 Well-Architected 智能体 AI 透镜中有关智能体成本治理的最佳实践。如果您还发现了其他在 Amazon Bedrock 上降低每任务成本或衡量智能体 ROI 的技术,请在评论中告诉我们。关于作者 调用日志按当前 Bedrock 定价计价 Bedrock 定价,再除以成功率。关于 ROI 衡量,请参阅 Well-Architected 智能体 AI 透镜 中有关智能体成本治理的最佳实践。
如果您还发现了其他在 Amazon Bedrock 上降低每任务成本或衡量智能体 ROI 的技术,请在评论中告诉我们。