人工智能

Airbnb 如何利用单任务成本在 Amazon Bedrock 上运营编码智能体

Amazon Bedrock 通过统一 API 提供对多家供应商基础模型的访问,并由 AWS 管理模型基础设施。它与 AWS 的访问控制和监控功能集成,并在 AWS 内部处理提示词、代码和模型响应。

随着编码智能体投入生产,模型和使用方式的变化可能影响延迟、容量和成本。Amazon CloudWatch 中的 Amazon Bedrock 运行时指标可帮助团队调查延迟增加、限流和令牌消耗变化。评测(eval)则通过衡量智能体在一组固定的代表性任务上的工作质量,对这些运营指标形成补充。

本文介绍 Airbnb 如何评测编码智能体所用的模型,并监控它们在 Amazon Bedrock 上的使用情况。我们会说明单任务成本如何指导模型选择,以及随着使用情况变化,生产数据如何帮助我们重新审视这些选择。我们还会介绍用于调查延迟、限流和支出的运行时信号。

在 Airbnb,每周都有数千名工程师和工程相关人员使用 AirChat——我们内部用于运行编码智能体的工具。这些智能体通过运行在 Amazon Bedrock 上的大语言模型(LLM)网关发送模型请求。Bedrock 在 AWS 内部处理 Airbnb 的代码、提示词和模型响应。大约五周内,有八款新模型发布。截至 10 月中旬,我们的工程师通过编码智能体发送的请求中,约三分之二流向了这些新模型。

每次发布都可能同时改变输出令牌量、成本、延迟和容量,而随模型发布的基准测试图表无法反映模型处理我们工程师实际工作的表现。因此,我们并行运行两套系统。上线前,我们使用自己的任务开展评测,衡量每个模型的得分和单任务成本。单任务成本是智能体完成一项任务所用全部令牌按公开标价计算的成本。

上线后,可观测性数据会显示生产环境中发生了哪些变化。当生产使用情况与评测结果不一致时,我们会找出原因。

解决方案概览

借助 CloudWatch 中以下命名空间内的少数几个信号,您就能诊断大多数生产问题: AWS/Bedrock 命名空间:

  • 延迟: InvocationLatency, TimeToFirstToken, OutputTokenCount,以及需要自行推导的每秒输出令牌数(OTPS)。
  • 限流: InvocationThrottles,再加上每个请求从配额中预留的令牌数;后者需要您自行发布。Bedrock 还会发布 EstimatedTPMQuotaUsage,该指标衡量您预计的每分钟令牌数(TPM)配额消耗,其中包括缓存写入令牌和输出消耗乘数,并涵盖所有推理 API(Converse, InvokeModel, ConverseStream和 InvokeModelWithResponseStream)。您可以使用此指标,在达到配额上限之前设置主动告警、跟踪各模型的配额消耗,并在使用受到限流之前申请进一步提高配额。
  • 成本: InputTokenCount (未缓存输入)、 CacheReadInputTokenCount, CacheWriteInputTokenCount 以及 OutputTokenCount,每一项均按各自的费率计价。缓存读取的成本低于未缓存输入,而缓存写入的成本可能更高,具体取决于模型。缓存命中率下降可能会增加单次请求成本。

除这些指标外,我们还加入了单任务成本。我们的评测会针对允许使用的每个模型和每档推理强度,衡量其得分和单任务成本。推理强度是一项控制模型在响应前进行多少推理的设置。我们使用评测结果来选择各项默认配置,即工程师未另行选择时编码工具所采用的模型和推理强度;同时也据此设定各模型的推理强度上限,即我们允许该模型使用的最高推理强度。

架构

工程师在自己的 AirDev 工作区中运行 AirChat。AirDev 工作区是位于云端的个人开发机器。他们也可以将任务交给 AirChat Remote;当工程师处理其他事务时,它会在彼此独立的云工作区中运行云端智能体。两条路径都会通过我们的 LLM 网关连接 Amazon Bedrock。

图 1 展示了 AirChat 和 AirChat Remote 如何通过我们的网关访问 Amazon Bedrock。它还展示了评测和生产监控如何指导模型默认配置与推理强度上限的设定。

AirChat and AirChat Remote reach Amazon Bedrock through Airbnb’s gateway, with CloudWatch metrics and eval results setting model defaults and effort ceilings

图 1:编码智能体和云端智能体通过我们的 LLM 网关调用 Amazon Bedrock。我们的使用记录和 CloudWatch 指标反映真实使用情况,而我们使用评测结果设定默认配置和推理强度上限

网关会记录每个请求的模型、客户端、团队和用户。我们仅以汇总形式使用这些记录,用于成本和容量规划。CloudWatch 提供令牌计数、延迟、错误和限流数据。我们将这些生产信号与评测得分及单任务成本进行比较,以判断何时需要调整默认配置或推理强度上限。

前提条件

在 AWS 方面,您需要:

  • 获得对计划在 Amazon Bedrock 中运行和评测的模型的访问权限。有关不同 AWS 区域支持的模型,请参阅 按模型划分的区域可用性 ,该内容位于《Amazon Bedrock 用户指南》中。
  • 通过 ConverseStream 或 InvokeModelWithResponseStream进行流式调用。Bedrock 仅针对流式 API 发布 TimeToFirstToken 模型调用日志,并在您调用的每个 AWS 区域中启用该功能。此功能默认关闭。日志可能包含完整的提示词和响应以及调用者身份,因此请限制日志读取权限并设置保留期限。
  • 为调用者使用带标签的 IAM 角色,并激活成本分配标签。请在开始收集数据之前将其激活,因为激活后不会补记此前的成本。

您还需要自行准备三项内容:

一组源自您自身工程工作的任务。为每项任务提供初始代码库状态、工程师会编写的提示词,以及一个您信任的评分器。评分器是对智能体工作进行打分的程序或模型。我们根据真实代码变更、针对这些变更提出的审查意见,以及原始工单中未明确说明的决策来构建任务。步骤 2 展示了其中一个示例。

  • 在 Bedrock 前端部署一个网关或代理,用于记录每个请求的模型、客户端、团队、用户和令牌计数。
  • 一张包含您所运行各模型公开标价的表格,并为每个条目标注日期,以便按相同基准计算评测令牌和生产令牌的价格。
  • 上线前,应明确智能体可以访问哪些资源,以及哪些操作需要人工审核。请在隔离的工作区中运行代码,

并在合并前测试生成的变更。 Amazon Bedrock Guardrails 可帮助过滤提示词和响应中的有害内容与敏感信息。对于基于所提供参考材料生成的响应, 上下文依据检查 可以标记缺乏依据的声明。请用您自己的任务测试这些控制措施,并将其延迟和成本纳入测量。

操作详解

首先测量完成一项完整任务的成本。然后利用这些结果选择默认模型、检查生产环境中的表现、管理容量并归因支出。

步骤 1:完成一项任务需要花费多少成本?

编码智能体需要发出多次请求才能完成一项任务,而模型会在每次请求时重新读取截至当时的上下文。因此,我们计算整项任务的价格。

Bedrock 会报告每个请求的四类令牌:未缓存输入、缓存读取、缓存写入和输出。在一次评测运行中,我们会计算每个请求中这四类令牌的价格,再汇总任务内所有请求的成本。本文中的所有成本均采用相应运行日期的公开标价。对于测试的每种模型、推理强度和智能体客户端,我们都会在得分旁记录平均成本,而且该平均值也包含低分尝试。

推理强度会同时影响得分和成本。在我们测试的一个模型上,将推理强度从低调至高后,得分提高了 0.8 分,而单任务成本增至 2.5 倍。我们利用这些结果设定由网关强制执行的推理强度上限。

步骤 2:评测新模型能有多快?

一个新模型发布当天下午,我们只向智能体发出了一次请求,就启动了一轮评测活动,让新模型跑完我们的全部任务套件。一个套件是一组固定的同类任务,我们共有七个套件。智能体将数百项任务分散到这些套件和多个云工作区中,每项结果都会在评分器完成评分后立即显示。首批结果在数小时内出炉。到第二天早晨,每个套件都有了得分和单任务成本,我们也获得了为整个组织作出部署决策所需的信息。

这种速度依赖于已经编写好的任务。每项任务都是一个文件夹,其中包含一次运行所需的一切。下面是我们机器学习工作中的一个精简任务:

honest-holdout-bakeoff/
  instruction.md     what the agent is told
  task.toml          time limit, CPUs and memory
  environment/       Dockerfile for the sandbox
  tests/test.sh      runs the grader and writes the reward
  tests/grader.py    the checks
  solution/          a reference solution that must pass the grader

instruction.md (excerpt):
  We have two candidate models for a prediction task, and we need to
  know which one to ship.
  ...
  Then answer the question we actually have to decide: is either
  candidate worth rolling out over the system already in production?

评分器会在每次运行时根据冻结的数据重新计算正确答案,只有所有检查均通过,智能体才能获得 1 分奖励。若要测试一个模型在每种推理强度下的表现,请在作业配置中将每种强度分别列为一个智能体:

job_name: model-a-effort-sweep
n_attempts: 1                # one attempt per task at each effort
datasets:
  - path: tasks/ml           # each task brings its own grader
agents:
  - name: model-a-low
    model_name: vendor/model-a
    kwargs: {reasoning_effort: low}
  - name: model-a-medium
    model_name: vendor/model-a
    kwargs: {reasoning_effort: medium}
  - name: model-a-high
    model_name: vendor/model-a
    kwargs: {reasoning_effort: high}

这两个示例都采用了 Harbor的格式;Harbor 是一个用于在沙盒中运行智能体评测的开源框架。如果您刚刚起步,它是一种可选方案。

评测运行也可以优化。编写评分细则,也就是评分器遵循的评分指南,是其中最困难的部分。我们的长任务会运行多个轮次,并由模拟审查者在轮次之间提出异议。模型评分器会按照八个加权维度为每次运行评分,每个维度的分数为 0 到 3。

Correctness of delivery   25     Judgment                 10
Verification quality      15     Evidence and reporting   10
Autonomy                  15     Readability              10
Design and workload fit   10     Operational discipline    5

Ceiling: if the reviewer had to rescue the agent repeatedly
(autonomy 0 or 0.5), the total is capped at 25 of 100.

由于存在这样的得分上限,需要他人救场的智能体无法仅凭成品精致度获得高分。

步骤 3:上线后需要监控什么?

当延迟上升时,请先绘制三个信号的图表,再提交支持工单: TimeToFirstToken 用于衡量生成开始前等待时间的指标、 OutputTokenCount 用于衡量响应长度的指标,以及用于衡量生成速度的 OTPS。Bedrock 没有原生的 OTPS 指标。您需要使用指标数学推导该指标,具体方法如 Amazon 《Bedrock 用户指南》 所述:

OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000

在我们会话中的示例里,延迟上升了 40%,但首令牌时间和 OTPS 保持不变。有人修改了系统提示词,要求给出更详尽的答案,导致每个请求的输出令牌数增加了 50%。模型仍以相同速度生成内容,只是写出了更长的响应。应将提示词变更和模型升级视为部署,并在仪表板上标记这些事件。

每周,我们都会针对每个模型,将 CloudWatch 运行时指标与网关中的使用记录并列查看。为了规划成本和容量,我们还会汇总查看使用情况:单次请求成本以及每位用户每周的平均请求数。新模型可能会同时改变这两个指标。每次上线后,我们都会将它们与根据评测单任务成本得出的预期进行比较。

步骤 4:评测表现良好,生产环境中的情况如何?

有一个模型(我们称之为模型 A)在评测中表现良好。在编码任务上,它的得分比此前表现最佳的模型高出三分以上。其单任务成本大致相同,而且所有模型都由同一个评分器评分。我们上线了该模型,将推理强度上限设为高,并建议大家在大多数工作中使用低或中等强度。

上线几周后,我们按照标价计算了模型 A 在生产环境中的使用成本,并汇总分析了数据。模型 A 的每位用户平均每周支出比前一个模型高出数倍。模型 A 的每次请求成本约为其三倍,而模型 A 用户的平均请求数也约为其三倍。

输出令牌仅占单次请求成本的十分之一。大部分成本来自缓存的上下文,模型会在每次请求时重新读取这些内容。模型 A 可以长时间自主工作,因此人们开始使用它进行长时间、自主推进的会话。

评测衡量的是模型执行一项任务时的表现,生产环境衡量的则是人们选择如何使用它工作。

后来,一个更新的模型在相同任务和评分器下取得了高于模型 A 的得分,而单任务成本仅约为模型 A 的六分之一。我们通过一次配置变更,将模型 A 的用户迁移到了该模型。

随后,我们针对同一用户群体,也就是模型 A 的重度用户,汇总检查了这次变更的影响。在改用新模型后的第一个完整星期里,该群体向其主要模型发送的请求数大致不变,而在该模型上的支出降至约七分之一。

步骤 5:为什么会受到限流,以及流量接下来会转向哪里

在 bedrock-runtime 端点上,Bedrock 会在请求到达时、模型尚未生成任何内容之前检查您的每分钟令牌配额。它会为未缓存的输入令牌和缓存写入令牌预留配额,另加 max_tokens,即该请求允许生成的最大输出量。模型生成内容时,Bedrock 会调整这部分预留量,并在请求结束时返还未使用的部分。缓存读取从不计入配额,因此一个请求对配额而言可能很便宜,但账单费用却很高。对大多数模型,输出令牌按 1:1 的消耗率结算;对目前的一些模型,消耗率则为数倍,因此请检查 您所用模型的消耗率.

计费令牌仪表板可能显示仍有余量,但请求却正在受到限流。在我们的会话示例中,配额为每分钟 100 万个令牌,流量为每分钟 300 个请求。仪表板显示配额使用率约为 30%。按 5:1 的输出令牌折算消耗率计算后,已完成的请求消耗了约 77% 的配额。

准入使用另一种计算方式。每个请求最初会预留 600 个未缓存输入令牌,再加上一个 max_tokens ,其值为 4,096,总计 4,696 个令牌。响应的 p99 约为 800 个令牌。

将 max_tokens 降至 1,024 后,初始预留量减少到 1,624 个令牌,降幅约为 65%。该限制仍高于 p99。如果输入和输出不变,最终配额消耗量也不会改变。更小的预留量为接纳更多请求腾出了空间。监控 stopReason ,以发现被截断的响应。使用退避和抖动机制,并限制重试次数。

需求也可能超过任一模型的可用余量。您需要在真正有需要之前,就知道工作可以转移到哪里,而我们的评测可以给出答案。答案可能是另一个模型系列中的模型。对于我们使用的每个主要模型,我们都会保留至少一个在评测中表现同样出色、可供负载均衡使用的等效模型。没有这些评测,选择将工作转移到哪里就只能靠猜测。

如果某个模型的余量持续紧张,我们可以通过更改配置中的默认设置来重新平衡负载。首先确认等效模型有能力承接额外负载,并且您的配额足以覆盖这些负载。同时还要在该模型上保留足够的流量,以维持您的访问权限:模型进入旧版(Legacy)阶段后,现有客户可能会在连续 15 天未使用后失去访问权限。旧版模型可一直使用到生命周期结束;此后,Bedrock 会将其从所有区域中移除,对它的请求会失败,而且 Bedrock 不会自动转移您的流量。当 LegacyModelInvocations 上升到零以上时发出警报。

步骤 6:这笔支出归谁?

Bedrock 运行时指标按 ModelId划分维度,因此您可以看到由哪个模型处理了请求,却无法看出请求来自哪个团队。Bedrock 发布这些指标时既提供带 ModelId 维度的版本,也提供不带该维度的版本;如果请求在 Bedrock 确定模型之前就失败了,它只会出现在不带该维度的序列中,因此按 ModelId 筛选会少计错误。Bedrock 提供三种支出归因方式:

  • 哪个团队或用户?Bedrock 会在每个请求中记录调用者的 IAM 身份。为角色添加标签,或传递会话标签,即可在 AWS Cost Explorer 和 AWS 成本与使用情况报告(CUR 2.0)中按标签查看成本。
  • 哪个应用程序?应用程序推理配置文件针对特定模型,因此应为每个应用程序和模型创建一个带标签的配置文件,并调用对应配置文件的 ARN。
  • 哪个功能或提示词?将键值对放入 requestMetadata ,并随 Converse调用传入。Bedrock 会将它们写入模型调用日志,但不会列入账单。要计算其价格,可将日志中的令牌数乘以公布的费率。经典 CUR 和 CUR 2.0 都不包含单次请求 ID,因此应按模型、使用类型和时间段比较总量,对两者进行核对。

在网关后方,Bedrock 看到的是网关的角色,因此应让网关为每个用户代入一个角色,并为其设置专属的 RoleSessionName 或会话标签。应在会话期间缓存这些凭证,因为每个请求都代入角色可能会超出 AWS Security Token Service(AWS STS)的速率配额。即使归因失效,请求仍会继续成功,因此当 Bedrock 无法传送调用日志时,应触发警报。

我们的使用记录支持按模型、客户端、团队和用户归因使用量,这些信息仅以汇总形式用于成本和容量规划。我们使用相同的四种令牌计数来计算单任务成本,因此可以比较评测与生产环境之间的令牌构成和成本。

结果

从模型发布到做出部署决定,我们可以在一夜之间完成。一次上线后,模型 A 的每位用户平均每周支出是前一个模型的数倍。我们将其重度用户迁移到了一个更新的模型。在迁移后的第一个完整星期里,该群体在主要模型上的支出降至约七分之一,而请求数量大致不变。对于我们使用的每个主要模型,评测都会找出一个可供重新平衡负载的等效模型。

清理

测试完成后,停止您启动的评测作业和智能体进程。如果只是为本演练启用了模型调用日志记录,请在每个区域中使用 DeleteModelInvocationLoggingConfiguration.

将其禁用。调用方不再使用这些配置文件后,使用 DeleteInferenceProfile删除您创建的应用程序推理配置文件。移除仅为本演练创建的 IAM 角色、策略和资源标签。停用仅用于这些测试的成本分配标签。删除不再需要的测试 CloudWatch 日志组和 S3 日志对象。

结论

每次模型发布时,我们都会执行四项检查:

  • 发布当天:在各种推理强度下,让新模型执行您自己的任务,并同时记录得分和单任务成本。
  • 上线之前:根据这些数据选择默认推理强度及其上限。禁用所有成本更高、得分却低于较低推理强度的设置。
  • 最初几周:将每次请求成本和每位用户平均请求数与评测中的单任务成本进行比较,并使用相同的四种令牌计数为两者定价。
  • 在真正有需要之前:了解哪些模型在您的评测中得分相同,无论它们属于哪个模型系列;重新平衡负载前,检查这些模型的容量和您的配额。

我们选择 Amazon Bedrock,是因为它能够通过一个 API 访问多个模型系列。AWS 负责管理模型基础设施,同时我们可以继续使用现有的 AWS 访问控制和日志记录机制。我们通过评测为工作选择模型,并通过可观测性判断何时需要重新审视这些选择。

如需进一步了解,请参阅《Amazon Bedrock 用户指南》中的以下页面:


关于作者