人工智能

大规模 Tokenomics:用 CUR 2.0 和 AWS Budgets 按 IAM 主体追踪并限制 Amazon Bedrock 支出

生成式 AI 的支出很难归因。在组织扩大 AI 使用范围之前,CFO 和 CTO 通常想要三个答案:我们每人或每团队的花费是多少,我们能否为其设定上限,以及要达到这一目标需要投入多少工作。

在上一篇文章中, 大规模 Tokenomics:Jamf 如何为 Amazon Bedrock 构建实时支出强制执行, 我们介绍了一个自定义的强制执行循环,它构建在 AWS IAM Identity Center, Amazon Athena 之上,基于 Amazon Bedrock 模型调用日志, 以及 AWS Lambda. 这种方法提供近乎实时的控制,但需要你随后自行拥有和运营的代码。

本文展示如何仅使用 AWS 原生功能,实现按身份的 Amazon Bedrock 成本可见性和可强制执行的支出限额,对于常见场景无需编写任何应用代码。该方法依赖三项内容: IAM 主体归因, 由 Amazon Bedrock 自动记录; AWS 成本和使用报告 (CUR) 2.0 或 AWS Cost Explorer 用于报告;以及 AWS Budgets 配合预算操作进行强制执行。最终,你将获得按身份的成本报告,以及一个自动防护机制,在超过阈值时限制 Amazon Bedrock 访问。

解决方案概述

该解决方案包含三个部分:归因、报告和强制执行。

归因。 Amazon Bedrock 会为每个推理请求捕获 AWS Identity and Access Management (IAM) 主体身份,即 IAM 用户 或 角色. 这一过程自动完成,无需更改你的 Amazon Bedrock 模型推理调用。如果多个人共用一个角色,你可以通过在代入角色时传递会话标签来添加按用户的详细信息。如果每个人或应用程序都有自己的角色,那么角色上的主体标签就足够了。

报告。 将这些标签激活为成本分配标签,然后在 Cost Explorer 中读取数据(仅限控制台视图),或在 CUR 2.0 数据导出中读取数据以进行详细的行项目分析和 SQL 查询。

强制执行。 创建一个范围限定为 Amazon Bedrock 并筛选到某个身份或标签值的 AWS Budget,然后附加一个 预算操作 ,在超过阈值时应用 Deny IAM 策略。

以下各节将更详细地展示每个部分,以及实施步骤。

先决条件

要部署此解决方案,你需要:

AWS Billing Console 访问权限与大多数 IAM 权限分开管理。开始前请确认你拥有该权限。

操作步骤

在配置任何内容之前,先检查你已有的内容。Amazon Bedrock 会自动为每个推理请求记录调用者身份。打开 Cost Explorer,将 Service 筛选为 Amazon Bedrock,并按可用的身份或标签维度分组。对于每个应用程序或个人已经使用不同 IAM 角色的账户,这可能就是你需要的全部可见性。

要配置额外的可见性:

  • 步骤 1 为你提供身份级别的可见性。
  • 步骤 2 到 4 添加标签维度和详细报告。
  • 步骤 5 添加强制执行。

步骤 1:决定身份如何映射到你的用户

如何添加标签取决于你的 IAM 主体是如何组织的。

每个人或每个应用程序一个角色。 直接将主体标签附加到每个 IAM 角色或用户。这些标签是静态的,适用于来自该主体的每个请求。使用 IAM 控制台或 AWS CLI:

aws iam tag-role \
  --role-name BedrockDeveloperRole-alice \
  --tags Key=user,Value=alice@example.com Key=team,Value=platform Key=CostCenter,Value=CC-1001

多个人或网关共用的一个角色。 主体标签无法区分共享角色上的用户,因为每个会话都携带相同的标签。请改用会话标签,在代入角色时传递。会话标签是动态的,可以因会话而异。如果会话标签和主体标签共享同一个键,则该会话中会话标签优先。

角色的信任策略必须允许 sts:TagSession. 会话标签可以通过三种方式传递:

  • sts:AssumeRole 使用 --tags, 适用于按用户或租户代入角色的网关。
  • AssumeRoleWithWebIdentity, 使用 OpenID Connect (OIDC) ID 令牌的 https://aws.amazon.com/tags 声明中的标签(这是一个声明名称,不是你要浏览的 URL)。
  • AssumeRoleWithSAML, 通过映射身份提供商的 Security Assertion Markup Language (SAML) 断言中的 PrincipalTag:* 属性。

如果你的组织已经为其他目的捕获了类似 saml:sub 的声明,这本身并不能使其在此处可用。你的身份提供商必须单独将该属性映射到 PrincipalTag:* SAML 属性语句,并且角色的信任策略必须允许 sts:TagSession, 然后它才能作为会话标签传递。这两个集成来自同一个 SAML 断言,但独立配置。常见的标签键有 user、team、Department、CostCenter 和 Environment。每个 IAM 用户或角色最多可以应用 50 个主体标签或会话标签。

Principal tags attached to an IAM role compared with session tags passed at role assumption

图 1:使用主体标签与使用会话标签的归因对比

步骤 2:激活成本分配标签

在你激活标签之前,标签不会出现在账单数据中。

  1. 打开 AWS Billing and Cost Management Console.
  2. 选择 成本分配标签.
  3. 按类型筛选 IAM 主体.
  4. 选择你的标签键并选择 激活.

在 AWS Organization中,在管理账户(付款方)中激活 IAM 主体成本分配标签。成员账户无法独立激活它们。有两件事需要注意:标签键只有在主体至少进行过一次 Amazon Bedrock 调用后才会出现在此列表中,因此如果列表看起来为空,请先进行一次测试调用。新应用的标签键可能需要长达 24 小时才会出现以供激活,然后在你激活后可能还需要长达 24 小时才会开始填充账单数据。默认情况下,激活不会追溯应用,因此在……之前激活标签 管理账户 (付款方)。成员账户无法独立激活它们。

有两件事需要注意:

  • 标签键只有在主体至少进行过一次 Amazon Bedrock 调用后才会出现在此列表中,因此如果列表看起来为空,请先进行一次测试调用。
  • 新应用的标签键可能需要长达 24 小时才会出现以供激活,然后在你激活后可能还需要长达 24 小时才会开始填充账单数据。

默认情况下,激活不会追溯应用,因此请在你需要数据之前激活标签。

步骤 3:创建包含调用方身份的 CUR 2.0 数据导出

如果 Cost Explorer 足以满足你的报告需求,请跳过此步骤。

  1. 在 Billing and Cost Management 控制台中,选择 数据导出.
  2. 选择 创建 并创建一个 CUR 2.0(标准)导出。
  3. 在 附加导出内容下,选择 包含调用方身份(IAM 主体)分配数据.
  4. 在 时间粒度下,选择每小时。
  5. 在 报告数据集成下,选择 Amazon Athena. 这会将文件格式设置为 Parquet,并且重要的是,会随导出数据一起向你的 S3 存储桶交付一个设置脚本。
  6. 选择目标 Amazon S3 存储桶。
  7. 运行交付的设置脚本(或它定义的 Glue 爬网程序/DDL)一次。这才是真正创建你将在步骤 4 中查询的 Glue Data Catalog 表的操作。前面的控制台流程不会自动为你创建它。

如果你在启用身份归因之前已经创建了 CUR 2.0 导出,它不会追溯包含身份数据。请创建一个选择了调用方身份选项的新导出。在导出中,主体标签和会话标签显示为以 iamPrincipal/为前缀的列,资源标签显示为 resourceTags/。例如,标签键 team 显示为 iamPrincipal/team。AWS 在 aws-samples/sample-cur-iam-principal-bedrock-tracking.

步骤 4:读取数据

下图比较了读取数据的两种方式:仅通过控制台经 Cost Explorer 的路径,以及通过 Amazon Athena 对 CUR 2.0 导出执行 SQL 的路径。

Two reporting paths, the Cost Explorer console view and a SQL query over the CUR 2.0 export in Amazon Athena

图 2:使用 Cost Explorer 与使用 CUR 2.0 和 Amazon Athena 进行报告的比较

控制台路径,无需自定义代码。 将 Cost Explorer 筛选到 Amazon Bedrock 并按你的标签键分组,即可通过图表和表格给出按团队或按用户的支出。这涵盖了大多数经常性报告需求,且无需编写查询。

SQL 路径,低代码。 将 Amazon Athena 指向 CUR 2.0 导出,以按 iamPrincipal/team 和使用类型对支出进行分组:

SELECT
    tags['iamPrincipal/team'] AS team,
    line_item_usage_type,
    SUM(line_item_unblended_cost) AS cost
FROM cur2_view
WHERE product_servicecode IN ('AmazonBedrock', 'AmazonBedrockService')
AND billing_period = '2026-09'
GROUP BY 1, 2
ORDER BY 3 DESC

需要注意的事项:

  • 服务代码: Amazon Bedrock 支出可能记录在多个 product_servicecode 值下,例如, AmazonBedrock 和 AmazonBedrockService.
  • 表名: 表名(cur2_view) 是步骤 3 中的设置脚本在创建 Glue 表时为其命名的名称。如果不同,请检查脚本或你的 Glue 目录。无论表名如何,列名都与 CUR 2.0 Parquet 架构匹配。
  • 账单周期列。 确认你的导出如何呈现该周期。有些导出使用 billing_period (YYYY-MM)。其他导出按开始日期或年/月列进行分区。

在编写任何查询时都值得记住的两点说明。

  • 统计所有 token 类型: Amazon Bedrock 对四种 token 类型计费,每种费率不同:输入、输出、缓存读取和缓存写入。每种都是单独的行项目,具有自己的使用类型和单价,因此仅对输入和输出求和会少算。对于大量使用提示缓存的工作负载,差距最大。请参阅 AWS 文档 Understanding Amazon Bedrock pricing in CUR 以获取最新信息。
  • 将费率与行项目匹配,而不是与模型匹配: CUR 中的 Amazon Bedrock 定价由三件事决定:token 类型、服务层级以及请求是否通过跨区域推理路由。区域内和跨区域请求的定价不同,服务层级也反映在使用类型中。使用类型带有表示跨区域路由和服务层级的后缀,因此如果你的工作负载混合了这些情况,请将费率与每个行项目匹配,而不是对每个模型应用一种费率。请参阅 CUR 使用类型示例 以获取示例。

步骤 5:使用 AWS Budgets 和预算操作添加强制执行

AWS Budgets 负责执行附加操作,因此此工作流无需自定义代码。预算操作会附加到特定的 IAM 用户、组或角色。只有当该人已经拥有自己的角色时,这才能隔离一个人的访问权限。如果你的 Amazon Bedrock 流量通过许多人共享的角色运行,附加到该角色的 Deny 操作会阻止该角色上的所有人,而不仅仅是越过阈值的那个人。下图说明了强制执行工作流。

AWS Budgets threshold triggering a budget action that attaches a Deny IAM policy

图 3:使用 AWS Budgets 和预算操作进行强制执行

AWS Budgets 可以在越过阈值时运行操作。可用的操作包括应用自定义 IAM 策略、应用服务控制策略(SCP),以及针对 Amazon Elastic Compute Cloud(Amazon EC2)或 Amazon Relational Database Service(Amazon RDS)实例。对于此用例,IAM 策略操作是相关的操作。

首先,创建该操作将附加的 Deny 策略。此示例拒绝成本较高的模型,同时保留成本较低的模型可用,以便用户可以继续工作:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Deny",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:*::foundation-model/[HIGHER-COST-MODEL-ID]"
      ]
    }
  ]
}

将 [HIGHER-COST-MODEL-ID] 替换为你环境中要拒绝的模型 ID。

然后设置权限和预算本身。

这里有两个不同的角色,而 AWS 托管策略只涵盖其中一个:

你自己的用户或角色 (配置预算的那个)需要 AWS 托管策略 AWSBudgetsActionsWithAWSResourceControlAccess。它授予预算权限以及所需的带条件 iam:PassRole ,以便将你的预算操作角色交给 AWS Budgets。

AWS Budgets 为执行操作而代入的 IAM 角色 在此用例中不由单个命名的托管策略涵盖。使用允许主体 budgets.amazonaws.com 代入它的信任策略创建它(通过 aws:SourceArn 和 aws:SourceAccount 条件限定范围),以及授予 iam:AttachRolePolicy 和 iam:DetachRolePolicy (以及 organizations:AttachPolicy 和 organizations:DetachPolicy ,如果你还使用 SCP)的权限策略。请参阅 为 AWS Budgets 设置角色以运行预算操作 用于可授予权限。

  1. 创建前面描述的预算操作角色。
  2. 创建一个范围限定为 Amazon Bedrock 的成本预算,并按你想要设置上限的身份或标签值进行筛选。
  3. 在 配置提醒中,添加提醒阈值。选择 实际 表示已实现支出,或选择 预测 以便在支出发生前采取行动。
  4. 在 附加操作下,选择 添加操作,选择预算操作角色,然后选择 IAM 策略操作。选择 Deny 策略以及要附加到的 IAM 用户、组或角色。
  5. 如需自动强制执行,请选择 是 以自动运行该操作。选择 否 则要求人工从 提醒详情 页面批准每个操作。
  6. 至少配置一个通知,以便告知受影响的用户访问权限变更的原因。

你可以将多个操作附加到单个阈值,也可以将多个阈值附加到一个预算。这就是构建分层的方式:例如,在 80% 时拒绝高级模型,在 100% 时拒绝中端模型,同时始终不拒绝低成本模型。

只有管理账户才能应用 SCP,并且可以从管理账户将 SCP 应用到另一个账户。

注意事项

AWS Budgets 并非近实时: 预算数据每天最多刷新三次,因此支出可能在操作运行前就已超过阈值。

成本分配标签不具追溯性: 新应用的标签键最多需要 24 小时才会出现,然后在你激活它之后最多还需要 24 小时才会开始填充账单数据。

CUR 不包含按请求的明细项: 经典 CUR 和 CUR 2.0 都会按使用类型、操作以及定价/资源属性,以一小时或一天为粒度汇总 Amazon Bedrock 成本。

IAM 主体字段需要 CUR 2.0: 旧版 CUR 格式不包含这些字段。两种格式均提供按 token 的成本明细。

会话标签在 AssumeRole 时绑定,而不是按请求绑定。 对于使用该会话凭证进行的每次调用,其值都是恒定的,并且只会作为聚合账单数据出现。会话标签不会写入模型调用日志。日志会捕获调用方的 identity.arn。要在请求级别区分共享会话上的用户,请使用按用户的 RoleSessionName,或在每次调用时在请求元数据中设置用户。

预算操作附加到 IAM 用户、组和角色。 如果你的用户是联合身份用户且没有常设 IAM 身份,则该操作需要一个角色作为目标。这就是为什么当每个人或应用程序都有自己的角色时,此模式效果最佳。如果你的用户共享一个角色,或者是没有自己角色的联合身份用户,请参阅我们之前的 文章 ,了解按用户强制执行的方法。

共享网关角色默认会合并归因。 使用大语言模型(LLM)网关时,捕获的身份是网关的执行角色。

新模型需要关注。 使用类型因模型而异。启用新模型时,请确认它按预期出现在你的查询和预算筛选条件中,而不是假设它已被覆盖。

决策框架

需求 推荐路径
快速报告 按身份分组的 Cost Explorer
按团队报告 使用已激活标签的 Cost Explorer(步骤 1、2 和 4)
详细明细项分析 CUR 2.0 导出(步骤 1 至 4)
强制执行 使用预算操作的 AWS Budgets(步骤 1 和 5)

清理

为避免持续产生费用,请删除你创建的所有资源。

结论

在本文中,你了解了如何仅使用 AWS 原生功能获得按身份的 Amazon Bedrock 成本可见性和可强制执行的支出限额,并且在常见情况下无需编写任何应用程序代码。随着生成式 AI 采用的规模扩大,胜出的组织将是那些能够自信地回答 tokenomics 问题的组织:我们每个人或每个团队花费多少、我们能否设置上限,以及实现这一目标需要多少工作量。

现在,轮到你开始探索了。我们随时为你提供帮助,如果你需要进一步协助,请联系 AWS Support 和你的 AWS 账户团队。


关于作者