人工智能

影响成本的四个 Amazon Bedrock 推理选择

在调整提示词和应用逻辑之后,你的 Amazon Bedrock 推理账单仍可能继续攀升。请求层面的选择依然会改变服务处理的 token 数量以及适用的费率。缓存时长、服务层级、推理强度(reasoning effort)和 maxTokens 都能在不更改模型或提示词的情况下影响成本。

每项选择都取决于模型和工作负载。本文展示我们如何测试每项选择,以及如何从响应元数据、日志和账单数据中验证其效果。

要自行尝试这些设置,请从 Amazon Bedrock Samples 的 notebook 开始: 混合 TTL 缓存 和 使用提示缓存的租户隔离. 关于 maxTokens 和推理强度,请参阅 sample-code-for-genai-cost-management-workshop GitHub 仓库中的 01-low-effort 文件夹。每个示例都设置了自己的模型 ID,因此请更改该 ID 以及推理参数,以匹配你所调用的模型。关于各 AWS 区域的模型可用性,请参阅 模型一览. 关于模型选择、批量推理、路由和蒸馏等更广泛的决策,请参阅 Amazon Bedrock 的有效成本优化策略.

推理成本从何而来

每个 Amazon Bedrock 响应都带有用量元数据。输入和输出 token 按处理该请求的模型和层级的费率计费。缓存读取和写入使用单独的 token 计数器,而推理 token 计为输出 token。

提示缓存时长

重复的系统指令、工具定义或参考上下文,如果缓存在下一次请求之前过期,就可能被再次处理。 用于加快模型推理的提示缓存 指南列出了受支持的 Anthropic 模型的 5 分钟和 1 小时生存时间(TTL)值。它还列出了受支持的 GPT-5.6 模型的最低 30 分钟 TTL。支持和 API 字段因模型而异,因此选择时长前请查看当前的支持矩阵。

对于受支持的模型,Amazon Bedrock 还提供 隐式提示缓存, 它会在请求中没有缓存控制的情况下尝试复用符合条件的提示前缀。由于隐式缓存是尽力而为的,并不保证缓存命中,因此本节中的时长选择适用于显式缓存。

以下 Converse API 签名在支持该功能的模型上请求 1 小时条目:

{ "cachePoint": { "type": "default", "ttl": "1h" } }

对于受支持的 Anthropic 模型,InvokeModel 会将相同的 ttl 值放入 cache_control.

更长的时长并不自动意味着更便宜。 Amazon Bedrock 定价 页面列出了 5 分钟写入、1 小时写入和缓存读取的单独费率。对于 Amazon Bedrock 上的 Anthropic Claude Sonnet 5 和 Anthropic Claude Opus 5,5 分钟写入的成本是输入费率的 1.25 倍。1 小时写入为 2 倍,缓存读取为 0.1 倍。

这些费率设定了盈亏平衡点,假设每个请求都复用完全相同的前缀,且每次缓存读取都会刷新 TTL。5 分钟缓存在 5 分钟内的首次复用时即可回本。当同一前缀的请求间隔超过 5 分钟时,每次请求都会以 1.25 倍的价格重写。此时,1 小时缓存在一小时内从第二次请求起就更便宜。

缓存费率和检查点最低值因模型而异。请查看你所调用模型的 Amazon Bedrock 定价 页面和 提示缓存指南 . 针对你的模型重新运行比较,然后在部署后通过缓存读取和写入 token 进行确认。

将稳定内容放在动态内容之前,满足模型的检查点最低值,并使用按需推理,因为提示缓存不适用于批量推理。

更改已缓存的前缀(包括系统指令或工具定义)会导致未命中并产生新的写入。检查点按工具、系统、消息的顺序评估,因此较早部分的更改也会使后面的部分失效。对经常更改的提示词进行版本管理,使每个版本都有自己的缓存条目。我们在 Claude Sonnet 5 上以 1 小时检查点运行了六次调用,更改了一次系统提示词和一次工具定义。每次更改都产生了零次缓存读取和一次新的写入。

AWS 将缓存条目描述为限定在你的账户和区域内,而不是限定在你的租户内。在多租户应用中,在可缓存前缀前加上租户特定的 SHA-256 哈希。 使用 Amazon Bedrock 提示缓存为 Anthropic 模型优化成本和延迟 一文描述了这种模式。在构建提示词之前强制执行租户授权。哈希在一个账户内对条目进行分区。如果受监管的工作负载需要硬性数据边界,请将每个租户放在单独的 AWS 账户中。

对于频繁复用,保留 5 分钟默认值。当同一前缀每小时至少重复两次且间隔超过 5 分钟时,将其改为受支持的更长时长。要优于完全不缓存,1 小时缓存每小时需要三次请求。

面向延迟容忍型工作负载的服务层级

后台作业、评估框架、夜间摘要和回填并不总是需要交互式请求所使用的延迟特性。对于支持 Flex 的模型,使用以下请求签名选择它:

{ "serviceTier": { "type": "flex" } }

使用 default, 而不是 standard, 来请求 Standard 层级。你也可以省略 serviceTier:

{ "serviceTier": { "type": "default" } }

层级支持因模型而异,因此请按确切的模型版本记录支持情况。 Amazon Nova 2 Lite 和 OpenAI gpt-oss-120b 模型卡将 Flex 列为受支持。 Anthropic Claude Sonnet 5 和 Anthropic Claude Opus 5 在 Amazon Bedrock 上的模型卡将其列为不受支持。向不支持的模型发起 Flex 请求会失败并返回 ValidationException ,而不是静默地在 Standard 上运行。我们向 Anthropic Claude Sonnet 5 发起的请求返回了该错误。

如果你的策略允许将 Standard 作为回退,请捕获不支持层级的错误并用 default重试一次。不要对每个 ValidationException都重试,因为格式错误的请求也会引发它。限制应用层重试次数。AWS SDK 的有界重试策略会处理限流和瞬时错误。

为 Flex 请求设置你自己的截止时间。受支持的响应会报告解析后的层级,你也可以通过 Amazon CloudWatch ResolvedServiceTier进行验证。请参阅 用于优化性能和成本的服务层级 以及你所调用确切模型的 Amazon Bedrock 定价 页面。

我们在 Amazon Nova 2 Lite 上测试了 Flex,发送了 200 个 default 请求和 200 个 flex 请求,以交错成对的方式发送。两个层级处理的输入和输出 token 数量相同。全部 400 个请求都解析到了所请求的层级,中位延迟差异太小,无法与噪声区分。撰写本文时,Nova 2 Lite 在 us-west-2 的已发布 Flex 费率是 Standard 费率的一半,我们的账单也反映了这一点。请查看 Amazon Bedrock 定价 页面了解当前费率。将对延迟敏感的流量保留在 default.

自适应思考强度

推理 token 按输出 token 计费。Claude Sonnet 5 和 Claude Opus 5 默认使用 high 强度的自适应思考,即使请求省略了 thinking 字段。一个从 Claude Sonnet 4.6 迁移过来且未做任何改动的应用会开始对思考 token 计费,并且 maxTokens 现在会限制思考加响应文本的总量。Claude Haiku 5.5 默认使用 medium。三个模型都支持 low, medium, high, xhigh,以及 max。使用此请求签名降低任务的 effort:

{
  "thinking": { "type": "adaptive" },
  "output_config": { "effort": "low" }
}

将 effort 保留在 output_config中,而不是放在 thinking内部。检查 自适应思考 每当你更换模型时。

我们在 Claude Opus 5 上测试了一个工具调用智能体。它的三个任务遵循 使用 Grok 4.7 在 Amazon Bedrock 上构建长时程智能体中的设计,且每个任务都有一个正确答案。我们在每个 effort 级别下将每个任务各运行了八次。下表显示的是输出 token 的中位数:

Effort 正确运行次数 输出 token 中位数 从低(95% 区间)变化
低 24/24 936 基线
中 24/24 1,484 +59%(50% 至 78%)
高(默认) 24/24 2,521 +169%(112% 至 190%)
极高 24/24 2,964 +217%(170% 至 260%)
最高 24/24 3,762 +302%(180% 至 402%)

在较低 effort 下能否保持准确性取决于模型和任务。请在与你的任务相似的任务上进行测量。

在 Amazon Bedrock Samples 的 为代码生成调用 Bedrock 模型 工作负载中,输出 token 的中位数在 low 时为 676,在 high时为 743,这一差异在运行间波动范围内。我们评分的程序在每个 effort 级别下都通过了。

使用每请求输出 token 计数、CloudWatch AWS/Bedrock OutputTokenCount、调用日志和任务通过率来评估这一选择。从低于 high 用于常规、边界明确的任务。保留 high 在质量测试表明任务需要它的地方。破坏任务的 token 削减不是节省。

输出 token 上限

maxTokens 是应用程序的输出上限。它限制了一个糟糕的提示词、回归或循环在请求停止之前可能产生的输出。配额规则记录在 Amazon Bedrock 中的 token 计数方式中。Amazon Bedrock 在请求开始时扣除你的输入 token 加上 maxTokens ,因此过大的值会降低并发数。

输出上限不是安全控制措施。在生产生成式 AI 工作负载中,将 Amazon Bedrock Guardrails 用作标准的负责任 AI 控制措施。Guardrails 可以过滤内容、检测提示词攻击,并在支持的输入和响应上检查接地性。参见 使用 Amazon Bedrock Guardrails 检测并过滤有害内容.

设置 maxTokens (按任务类型),需先观察具有代表性的输出 token 分布:

{ "inferenceConfig": { "maxTokens": 155 } }

参见 使用 Converse API 进行推理 ,了解请求参数。

在我们对 Claude Sonnet 5 的测试中,五个正常输出在 103 个 token 处达到峰值,因此我们设置了一个示例性的 155 token 上限,并留有余量。随后,我们在禁用自适应思考的情况下发送了同一个刻意冗长的提示词,一次在 2,048 token 上限下,一次在 155 token 上限下。第一次请求生成了 2,048 个输出 token,第二次生成了 155 个,因此该上限避免了 1,893 个输出 token。两者都在 max_tokens处停止,因此两个响应都被截断。该上限限制了开销,但并不能让不合适的提示词变得有用,而且在多轮或智能体链中,被截断的一轮可能会破坏其后的步骤。

在生产校准中,请比较每种任务类型的第95和第99百分位数(P95和P99),并为所选百分位数增加余量。开启自适应思考后, maxTokens 也会限制思考 token,因此请在校准过程中启用思考。P95 更积极地限制暴露风险,但接受更高的截断风险。P99 在更高的上限下保留更多有效的长尾响应。监控 max_tokens 停止情况,并在提高任务限制之前调查该请求。

综合运用

对每项设置使用相同的测试循环:确认模型支持情况,更改一个请求选项,测量 token 或成本,并跟踪质量或完成情况。如果你跨模型路由,请为每个模型版本、区域和 API 保留一份能力记录:支持的缓存时长、服务层级、推理级别和输出上限。在发送请求之前,请根据该记录验证每个请求,然后检查响应中的已解析层级和缓存计数器。

设置 默认或宽松状态 结果 接受风险
缓存时长 模型特定 TTL 根据已发布的 Sonnet 5 和 Opus 5 费率,当间隔超过 5 分钟时,每小时第二次请求起,1 小时缓存更划算 1 小时写入成本为输入价的 2 倍,因此复用率低会亏钱。按租户前缀分区
服务层级 default 在撰写本文时,Nova 2 Lite Flex 的公布价格为 Standard 费率的一半,我们的账单也与之相符 处理时间更长。设置你自己的截止时间和回退方案
推理力度 high 在测试的自适应模型上 从低到高:在智能体测试中输出 token 中位数增加 169%,在代码生成上没有可靠差异 在任务能力边界附近,质量可能会下降。用 token 跟踪通过率
maxTokens 宽松的 2,048 token 上限 在一次测试中,一个示例性的 155 token 上限避免了 1,893 个输出 token 截断可能会在多轮或智能体链中级联传播。在提高上限之前,请检查 stopReason 在提高上限之前

值得关注的信号

设置 信号 验证方式 首次响应
缓存时长 重复的上下文不会带来预期的延迟或成本收益 应用延迟与成本遥测 在更改 TTL 之前,请检查前缀稳定性、复用间隔和模型支持情况
服务层级 请求的服务层级不受支持,或实际服务层级与预期不符 响应 serviceTier 和 CloudWatch ResolvedServiceTier 使用受支持的服务层级,或将延迟敏感型流量转回 default
推理力度 输出 token 增加,而质量保持不变 按请求的响应遥测、CloudWatch OutputTokenCount、调用日志和任务通过率 降低该任务类别的推理力度,并重新运行其质量测试
maxTokens stopReason 为 max_tokens 响应停止原因和任务范围内的输出 token 分布 在提高上限之前,请检查提示词和任务围栏

根据带有任务标签的应用遥测数据或调用日志,为每种任务类型推导出 P95 和 P99。

结论

这四个选择都存在于推理请求中。更换模型时请重新核对支持情况,然后一次只更改一项设置,并在你的应用中衡量结果。

使用这些资源来评估适合你的工作负载的选项:


关于作者