人工智能
借助 Accenture 的分阶段方法优化 Amazon Bedrock 上的 AI 经济性随着企业在 Amazon Bedrock上扩展 AI 应用,即使每个 token 的价格下降,token 支出也往往会增加。如果没有设置成本分配标签,云账单只会将 AI 支出显示为一个总条目,而不会按团队、工作负载、智能体或模型细分。更便宜的 token 会扩大采用规模,而智能体工作负载会使调用次数成倍增加。随着成功的 AI 用例不断扩展,使用量的增长速度可能快于单位价格的下降速度。经济性问题在于:所产生的业务价值,其增长速度是否快于生成该价值所需智能成本的增长速度。Linux 基金会已经成立了 Tokenomics 基金会 ,旨在制定 AI 成本经济学的开放标准,这表明管理 AI 的经济性如今已成为一门行业学科。
在本文中,您将了解优化 token 支出的六种杠杆、Accenture 如何在生产环境中应用这些杠杆,以及如何使用 Amazon Bedrock 实施这些杠杆。
Accenture 在电信、保险、采矿以及一个大型企业部署项目的四项客户合作中应用了这些杠杆。本文所述的相同杠杆也可在 Amazon Bedrock 中原生使用。在已衡量节省效果的项目中,token 支出下降了约 40%–85%。结果取决于每位客户的具体工作负载,可能有所不同。为保护客户机密,Accenture 未披露客户名称。
归因优先:在业务层面衡量成本
在优化任何内容之前,您需要了解使用量产生在哪里、由谁负责,以及创造了什么业务价值。团队、工作负载和智能体级别的成本分配标签,是将使用量与责任主体乃至最终业务成果关联起来的前提条件。您可以通过 Amazon Bedrock 应用程序推理配置文件应用这些标签:每个应用程序或工作负载使用一个配置文件,并按团队、成本中心和环境添加标签。在 AWS Billing and Cost Management 控制台中将这些标签激活为成本分配标签后,您就可以利用它们追踪哪些团队、应用程序和智能体正在推动支出增长。这些标签还使您能够衡量所引入的每项变更带来的影响。
三项 AWS 服务提供底层遥测数据。 AWS 成本和使用情况报告 (CUR 2.0)通过 AWS Data Exports交付,负责财务归因;成本分配标签启用后,它可以按工作负载和团队细分计费的推理成本。 Amazon CloudWatch 捕获调用次数和延迟等运营信号。 Amazon Bedrock 模型调用日志记录 记录请求级详细信息,包括所使用的模型以及每次调用的输入和输出 token 数量。
仅有遥测数据还不够。工程师可以在控制面板上查看每次调用的成本,但产品负责人和项目领导者需要以业务术语表示的指标。Accenture 的每笔业务交易成本(CpBT)框架弥合了这一差距。CpBT 将促成一项成功业务输出的所有模型调用、重试、工具调用和智能体交接汇总为一个包含全部成本的数字。它揭示了生成结果的真实成本,包括原始 token 定价所掩盖的失败尝试成本。将 CpBT 与每个工作流创造的业务价值结合追踪,可以区分账单增长究竟反映了成功扩展,还是资源浪费。
六种优化杠杆
这六种杠杆的目标并不是不惜一切代价减少 token,而是使用适当数量和级别的智能,以合适的成本、质量和风险实现每项业务成果。这些杠杆根据变更的复杂程度和所需投入分为三个阶段。AWS 和 Accenture 建议按顺序推进各个阶段,同时您也可以在最能产生影响的工作负载上独立应用每个阶段。
第一阶段:仅调整配置,不更改基础设施
借助 Amazon Bedrock 提示词缓存,模型可以重复使用各请求中反复出现的提示词部分,例如系统指令、工具定义和参考文档,从而无需再次为处理相同内容支付全额费用。Amazon Bedrock 会存储先前已计算提示词前缀的键值状态,并可在后续请求中跳过重新计算。对于受支持的模型,这项功能旨在将缓存输入 token 的成本降低多达 90%(参见 Amazon Bedrock 提示词缓存).
Amazon Bedrock 批量推理 以异步分组方式处理非紧急工作负载;对于部分模型,其成本比按需定价低 50%(参见 Amazon Bedrock 定价)。您以批处理作业的形式提交推理请求,处理完成后,结果将写入 Amazon Simple Storage Service(Amazon S3) 。批量推理适合不需要即时响应的夜间报告、文档处理管道和评估运行。
这两种杠杆都只需在现有设置中增加配置。提示词缓存要求在提示词中加入缓存检查点标记,而批量推理要求将符合条件的请求作为批处理作业提交,而不是调用按需 API。对交互式按需流量应用缓存,对异步工作应用批量推理。两者均不需要新增基础设施或更改架构。
第二阶段:架构变更
Amazon Bedrock 智能提示词路由 会在同一模型系列内将请求导向不同模型,根据每项任务的业务价值、复杂性和风险,为其匹配所需的智能水平,而不是默认将所有请求都交给最强大的模型。智能提示词路由可以在不影响准确性的情况下将成本降低多达 30%(参见 Amazon Bedrock 智能提示词路由)。请查看 Amazon Bedrock 定价 ,了解是否收取路由费用。在下述客户合作中,Accenture 的模型分层和分诊路由采用了同一种路由杠杆。
检索增强生成 (RAG)优化会调整 RAG 流程中的检索步骤,从而减少传递给模型的不必要上下文 token。分层分块、基于元数据的筛选和重排序等技术可将检索到的上下文缩小到最相关的文本块,使您的支出主要用于能够改善答案的内容。
Accenture 的两种互补模式可与这些 AWS 原生杠杆配合使用。上下文范围限定只向每个智能体提供与其工作流步骤相关的文档片段,而不是在每次交接时都传递完整的案例上下文。上下文压缩则会在文档到达模型之前对其进行摘要或筛选。这两种模式都能减少输入 token 量,在多智能体链中尤其有效。
第三阶段:基础设施与训练投资
语义缓存会存储响应,并在新请求与已回答的请求语义相似时复用这些响应,即使两者的措辞不同。这可以避免重复调用模型,同时降低成本和延迟。在 AWS 上,您可以在模型前部署向量存储来实现语义缓存,例如 Amazon ElastiCache 。在 AWS 针对 63,796 条真实聊天机器人查询开展的基准测试中,0.90 的相似度阈值实现了 74.5% 的缓存命中率、92.3% 的准确率和 72.5% 的成本节省(参见 ElastiCache 语义缓存基准测试)。应用路由和语义缓存时,请确保每条路由都启用 Amazon Bedrock Guardrails ,并设置语义缓存的过期时间,以免用户收到过时的答案。
模型蒸馏 会将知识从大型教师模型转移到更小、更快的学生模型。Amazon Bedrock 中的蒸馏模型可实现 速度提升至多 500%,成本降低至多 75% ,与原始模型相比,在 RAG 等用例中的准确率损失不到 2%。蒸馏最适合稳定的高容量工作负载,因为其交易量足以证明训练投资的合理性。
生产实践:四个客户项目
Accenture 在四个客户项目中应用了这些杠杆。每个项目针对不同的成本模式。其中两个项目同时实施了多项变更,因此其结果反映的是综合效果,而非任何单一杠杆的效果。
第一个项目是某大型企业部署,其每个请求都会发送给前沿模型,且没有使用缓存、模型分层或批处理。Accenture 同时实施了三项变更:通过模型分层,将每项任务交给能够妥善处理它的最小模型;对重复上下文使用提示词缓存;对夜间和非紧急作业进行批处理。这些措施共同将每月 token 成本降低了 85%,但并未按变更分别计算节省额。约 15% 的任务仍需要顶级模型来处理困难的开放式推理,其余任务则在更轻量的模型上运行。您的任务分配比例将取决于工作负载构成。
第二个项目是一家年度 token 支出达 $12 million 的电信运营商。大部分支出源于智能体不受限制地扇出请求,以及所有请求无论复杂程度如何都被发送给前沿模型。Accenture 同时应用了分诊路由、语义缓存和上下文压缩。输入 token 减少了 70%,年度 token 支出从 $12 million 降至 $3.8 million,降幅为 68%。Accenture 根据该运营商变更前的性能基准验证了输出质量。
第三和第四个项目各自应用了一个缓存层。一家保险公司使用模型层前缀缓存,在多次调用中复用提示词的静态部分。一家矿业运营商使用应用层语义缓存,在重复查询到达模型之前直接返回已存储的响应。两个项目的 token 支出合计下降约 40%,且未改变模型路由,也未投入模型训练。
结果
不同客户的成效从约 40% 到约 85% 不等,反映了各自不同的起点。该大型企业部署最初未实施任何优化,最终实现了 85% 的降幅。该电信运营商在每年 $12 million 的 token 支出基础上实现了 68% 的降幅,而保险公司和矿业运营商分别只使用一种缓存杠杆,合计实现了约 40% 的降幅。结果取决于每个客户的具体工作负载,实际成效可能有所不同。
这些节省并非最终目标,而是为扩展 AI 工作负载、再投资于价值更高的用例,以及提高每一美元 AI 消耗所产生的回报创造空间。其中两个项目同时实施了多项变更。如果每次只应用一种杠杆,您就能将每项结果归因于具体变更。AWS 和 Accenture 建议对您自己的工作负载采用以下顺序:将消耗与负责人及成果关联起来;每次应用一种杠杆;衡量成本、质量和业务价值;并在有效措施的基础上继续推进。
生产治理:四项运营原则
在生产环境中优化 AI 经济效益,需要建立一个涵盖成本、质量、风险和业务价值的持续治理周期,而不是进行一次性的技术变更。在应用任何杠杆之前,请为成本和质量建立量化基线,以便根据已知起点衡量每项变更的影响。验证输出质量时,应使用从实际生产流量中提取的留出评估集,而不是合成基准。对于每个工作负载,每次只应用一种杠杆,这样既能将结果归因于具体变更,也能在质量降至可接受阈值以下时进行干净回滚。如果您身处金融服务、保险或医疗保健等受监管行业,请将质量测试结果和回滚程序记录在标准变更管理档案中。
无论您使用哪些杠杆,也无论处于实施顺序的哪个阶段,这四项原则都适用。 Amazon Bedrock AgentCore 是一个环境,让您能够使用任何框架或模型大规模构建、连接和优化智能体。它包括 AgentCore Evaluations,这是 Amazon Bedrock AgentCore 的一项功能,可提供批量评估,以便在您逐步采用更高级的杠杆时支持质量验证周期。
入门指南
您可以从三个步骤着手。首先,在团队和工作负载层级应用成本分配标签,为 Amazon Bedrock 启用成本归因,让您的支出从第一天起即可追踪。其次,在 AWS Billing and Cost Management 控制台中激活这些标签。然后,使用 CUR 2.0 和模型调用日志识别高消耗工作负载,并根据支出、业务价值、质量要求、风险、规模和优化潜力逐一评估。第三,将 Amazon Bedrock 提示词缓存应用于该工作负载的交互式流量,并将 Amazon Bedrock 批量推理应用于其异步作业;这些变更仅涉及配置。衡量结果后,再进入第 2 阶段的架构变更。
该 AWS Well-Architected 智能体 AI Lens 包含 模型调用和 token 成本优化 (AGENTCOST02),这是成本优化支柱中面向智能体工作负载的一个重点领域。该重点领域提供了一个结构化框架,您可以使用它在整个组织内大规模应用这些杠杆。
AI 热点