人工智能

Amazon SageMaker HyperPod Global Inference Gateway 正式推出:一个端点连接多个区域和集群

在流量高峰期,请求可能滞留在已饱和的 HyperPod 集群队列中,而另一集群(有时位于另一个 AWS 区域)的 GPU 却处于闲置状态。你已经为这些容量付费,但请求却无法使用它们。

在 《Amazon SageMaker HyperPod Inference Gateway 简介》一文中,我们介绍了 Inference Gateway 如何为每个 Amazon SageMaker HyperPod 集群提供一个可感知 GPU 状态的统一端点。它读取键值(KV)缓存利用率和队列深度等实时信号,将每个请求分配到最合适的 Pod。这解决了单个集群内部的路由问题,但无法解决跨集群路由问题。

今天,SageMaker HyperPod 推出了 Global Inference Gateway。这是一个由 SageMaker 托管的统一网关,可在你注册的所有集群之间进行路由,无论这些集群位于同一区域还是跨多个区域。该网关会选择集群,并通过 AWS 骨干网络传输请求,同时提供自动故障转移,以及基于 AWS Signature Version 4(SigV4)和 AWS Identity and Access Management(IAM)的身份验证。在每个集群内部,Inference Gateway 仍会像以前一样继续选择 Pod。Global Inference Gateway 是我们在第 1 部分中所述架构的第二层。

挑战:容量分散在多个集群和区域中

模型规模越来越大,而用于运行这些模型的 GPU 容量也越来越难以获得。为了获得足够的容量,你需要将其分散到更多集群和更多区域中。

假设一个团队使用两个区域中的五个 HyperPod 集群来运行四个模型。如果没有 Inference Gateway,客户端需要跟踪 20 个端点,即每个集群中的每个模型各有一个端点。Inference Gateway 将端点数量减少到了五个,即每个集群一个。但每个客户端仍然需要自行选择集群。

这种选择会带来以下成本:

  • 负载不均衡。 在流量高峰期,请求在一个区域中排队,而另一个区域中的 GPU 却处于闲置状态。
  • 手动故障转移。 当集群发生故障时,工程师必须更改配置,将流量从该集群转移出去。
  • 自定义基础设施。 要将流量分散到多个区域,你需要自行构建和维护负载均衡器、DNS 以及跨区域网络。

该团队需要一个统一端点,能够将每个请求发送到最合适的集群,并在集群发生故障时自动将流量转移出去。

主要优势

Global Inference Gateway 可以帮助你更充分地利用已有的 GPU 容量,同时减少运维工作。

  • 让闲置 GPU 发挥作用。 在流量高峰期,请求会溢出到同一区域或其他区域中仍有可用容量的集群,而不会继续在已饱和的集群上排队。
  • 自动执行故障转移。 当集群发生故障时,网关会将其流量转移到次优集群。客户端无需进行任何更改。
  • 使用一个端点处理所有请求。 客户端只需调用一个由 SageMaker 托管的端点,不必跟踪每个集群或每个模型对应的端点。
  • 无需构建自定义网络。 你不需要构建或维护负载均衡器、DNS 或跨区域网络。
  • 默认保持私有。 每个请求都会通过 SigV4 和 IAM 进行身份验证,并且只会通过 AWS PrivateLink 到达你的集群。

客户反馈

“在 Bagelcode,我们在 AWS 上运行自己的大语言模型推理服务,帮助公司各团队(包括游戏团队)利用 AI 改进工作方式。在 Beta 测试中,Amazon SageMaker HyperPod 的 Global Inference Gateway 通过单个端点在两个 AWS 区域之间路由请求,并在其中一个集群无法再运行该模型时继续提供服务。这让我们规模较小的平台团队无需构建或维护自己的路由层,就能实现跨区域故障转移。”

——Bagelcode AI 平台副总裁 Jinhyung Park

工作原理

设置网关需要做出两个决定:开放哪些集群用于路由,以及将其中哪些集群组合到同一个网关之后。

  1. 发布集群。 每个集群只需执行一次此操作。你需要在该集群现有的 spec.globalRouting 中启用 InferenceGatewayConfig块。随后,HyperPod Inference 控制器会从你自己的账户中以私有方式发布该集群。
  2. 创建网关。 每个网关只需执行一次此操作。你需要调用 CreateGlobalInferenceGateway 并指定要在其间进行路由的集群,SageMaker 随后会返回一个端点。

集群只有在发布后才可访问。发布集群时,控制器会在集群的 Inference Gateway 前创建一个 Network Load Balancer,在其上发布一个虚拟私有云(VPC)端点服务,并将侦听器证书上传到你的 TLS 存储桶。这些资源均位于你的账户中。如果你在发布集群之前就将其列入网关,调用将失败,并显示一条消息,说明需要修复的问题。

请求的流转方式

图 1 展示了每个请求的传输路径:(1) 客户端使用 SigV4 对请求签名,并将其发送到网关的区域端点;(2) 网关验证调用方身份并选择最佳集群;(3) AWS PrivateLink 将请求传输到该集群,无论该集群位于同一区域还是另一个区域;(4) 该集群的 Inference Gateway 像目前一样将请求路由到模型 Pod。

Figure 1: Global Inference Gateway architecture

图 1:Global Inference Gateway 通过一个区域端点接收每个请求,并经由 AWS PrivateLink 将请求转发到最合适的 HyperPod 集群,再由该集群的 Inference Gateway 将请求路由到模型 Pod。每个集群都会将其负载信息发送回网关。

由 AWS 负责运营的部分

你决定发布哪些集群、将哪些集群组合到同一个网关之后,以及如何设置路由权重。其余部分由 AWS 负责运营:

  • 路由服务集群。 SageMaker 会预置并运营负责终止 TLS 连接、验证调用方身份、为集群评分以及转发每个请求的服务集群。
  • 私有连接。 SageMaker 为每个集群创建一个私有端点,并通过 AWS 骨干网络传输区域内和跨区域流量。
  • 证书和验证。 该服务使用你创建的执行角色读取每个集群的 VPC 端点服务名称、证书和所在区域,因此你无需手动复制这些信息。服务会在路由流量之前对其进行检查。
  • 运行状况和故障转移。 网关会对每个集群执行运行状况检查,并自动将流量从发生故障的集群转移出去。有关详细信息,请参阅“网关运营”部分。
  • 身份验证和速率限制。 网关会检查 SigV4 签名、IAM 权限和速率限制,并在任何集群收到不合格请求之前将其拒绝。

在每个集群上,由服务管理且拥有自身 IAM 角色的指标发布器会将集群负载发送到网关。

网关如何选择集群

对于每个请求,网关会根据四项信号对每个运行状况良好的集群进行评分,并将请求发送到得分最高的集群。每个集群的指标发布器都会提供负载信号。

你可以使用路由权重控制每项信号所占的比重。每项权重的取值范围为 0.0 到 1.0,权重为 0 表示关闭该信号。如果设置权重,则必须设置全部四项权重,且其总和必须为 1.0。如果省略权重,则采用下表中的默认值。

权重 评分内容 默认值
KVHeadroom 集群上可用的 KV 缓存和 GPU 内存 0.20
QueueDepth 集群的积压程度 0.25
RegionProximity 集群与网关所在区域之间的距离 0.40
ErrorRate 集群上近期失败的请求 0.15

默认设置倾向于选择靠近网关所在区域的集群,同时仍会将流量转向有可用容量的集群,并避开出现故障的集群。如果对你的工作负载而言,弹性比邻近性更重要,请提高 ErrorRate 并降低 RegionProximity。例如,以下路由配置块将近期错误的权重设为 0.7:

{"Weights": {"KVHeadroom": 0.1, "QueueDepth": 0.1, "RegionProximity": 0.1, "ErrorRate": 0.7}}

你可以在该参数中传入这些权重 Routing 参数,取值为 CreateGlobalInferenceGateway,你之后可以通过以下方式更改它们: UpdateGlobalInferenceGateway.

选择你的起点

你的路径取决于你当前的运行方式。如果你从单个集群提供服务,请继续使用该集群的 Inference Gateway 端点。添加第二个集群时,再迁移到 Global Inference Gateway。

起点 你需要执行的操作 结果
Inference Gateway 在每个集群上运行,例如在 us-east-1 和 us-west-2 的五个集群上运行四个模型 更新附加组件,发布每个集群,并创建网关 每个集群共用一个端点。在你迁移客户端期间,各集群的端点会继续提供服务。
HyperPod Inference 附加组件运行时未启用 Inference Gateway 启用 Inference Gateway,只需更新一次附加组件,并为每个集群启用一个 InferenceGatewayConfig 调度器,然后按照第一行操作 每个模型各自的端点合并为一个
两个区域均有 GPU 容量,但尚未设置 HyperPod Inference 在每个区域创建一个带有 HyperPod Inference 附加组件的 HyperPod 集群,部署你的模型,启用 Inference Gateway,然后按照第一行操作 从第一天起只需一个端点,流量路由可精细调整,而且即使某个区域出现问题,也能继续提供服务

入门

要设置 Global Inference Gateway,请准备好每个集群,创建一个执行角色,然后调用 CreateGlobalInferenceGateway。然后,你向该网关端点发送与 OpenAI 兼容且使用 SigV4 签名的请求。有关包括 IAM 角色和策略在内的分步说明,请参阅 AWS 文档.

安全与访问

发送到网关的每个请求都使用 SigV4 签名,并通过 IAM 授权。调用方需要具备调用网关的权限,而流式传输有其专用操作:

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Action": [
      "sagemaker:InvokeGlobalInferenceGateway",
      "sagemaker:InvokeGlobalInferenceGatewayWithResponseStream"
    ],
    "Resource": "arn:aws:sagemaker:<region>:<account-id>:global-inference-gateway/<gateway-id>"
  }]
}

将此策略附加到每个发送请求的 IAM 身份。若要允许账户中的每个网关,请使用 global-inference-gateway/* 作为资源。

执行角色遵循最小权限原则。它只能描述您列出的集群,只能访问这些集群的 Amazon Elastic Kubernetes Service(Amazon EKS)API,并且只能读取以下前缀下的路由证书: gig/ 您的 TLS 存储桶前缀,且带有由 HyperPod Inference 创建的标签。

身份令牌。 如果您的集群检查 JSON Web Token(JWT),请随请求传递令牌,并将其放在 --customer-identity-token (即 X-Amzn-SageMaker-Customer-Identity-Token 标头)中,无需 Bearer 前缀。令牌包含在 SigV4 签名中传输,因此,未签名的令牌会被拒绝并返回 403,重复使用的令牌则会返回 400。请在每个提供模型服务的集群上都启用 JWT 检查,或者全部不启用,以免请求在一个集群上成功,却在另一个集群上失败。

请求仅通过 AWS PrivateLink 到达您的集群,如图 1 所示。该网关不会记录或存储提示词或补全内容。

网关操作

以下是配置网关的步骤。

添加集群

准备新集群,并按照文档所述,在该集群上为执行角色创建 EKS 访问条目。此外,将新集群添加到 Resource 执行角色权限策略的列表中。然后调用 AddInferenceGateway 在网关所在的区域中调用,即使新集群位于其他区域:

aws sagemaker add-inference-gateway \
  --identifier <gateway-name> \
  --region <region> \
  --cluster-arn arn:aws:sagemaker:<region-3>:<account-id>:cluster/<cluster-id-3> \
  --name <gateway-config-name-3> \
  --namespace inference-gateway

网关会验证集群,并在集群运行状况良好后开始将请求路由到该集群。网关端点、其他集群和客户端均不受影响。

分离集群

在网关所在的区域中调用 RemoveInferenceGateway ,即网关所在的区域:

aws sagemaker remove-inference-gateway \
  --identifier <gateway-name> \
  --region <region> \
  --cluster-arn arn:aws:sagemaker:<region-3>:<account-id>:cluster/<cluster-id-3> \
  --name <gateway-config-name-3> \
  --namespace inference-gateway

网关停止向该集群发送新请求,等待正在处理的请求完成,并移除私有端点。网关始终至少保留一个集群。若要完全撤下该集群,请设置 globalRouting.enabled: false (在其) InferenceGatewayConfig ,然后重新应用该策略。

删除网关

调用 DeleteGlobalInferenceGateway:

aws sagemaker delete-global-inference-gateway \
  --identifier <gateway-name> --region <region>

网关端点停止提供服务,而各集群端点继续提供服务。删除网关后,使用 撤下每个集群, globalRouting.enabled: false然后删除执行角色以及您为全局路由添加的 IAM 权限。

下表概述了常见事件和变更对流量的影响。

事件 会发生什么 您需要执行的操作
网关创建失败 网关迁移到 FAILED,并且 FailureReason 会说明失败原因,例如证书名称不匹配 修复问题原因。若要查看每个集群的状态,请调用 ListInferenceGateways.
集群发生故障 流量会转移到次优集群,并在发生故障的集群恢复后逐步回流。失败的请求会在另一个集群上重试一次,除非该请求已开始流式传输。如果没有剩余的健康集群,网关将返回 503。 无需执行任何操作。客户端无需进行任何更改。
更改路由权重 新请求使用新的权重,正在处理的请求则继续使用旧权重直至完成。无需重新预置任何资源。 调用 UpdateGlobalInferenceGateway
添加集群 集群运行状况良好后,路由即开始。其他一切均不变。 请参阅“添加集群”
分离集群 停止接收新请求,并等待正在处理的请求完成 请参阅“分离集群”
删除网关 网关端点停止提供服务,而各集群端点继续提供服务 请参阅“删除网关”

如需任何故障排除帮助,请参阅 故障排除指南.

最佳实践与注意事项

  • 在发布之前规划好集群分组。 确定哪些集群位于每个网关后面,并在所有应共享某个模型流量的集群上使用相同的 modelName 在每个应共享某个模型流量的集群上。如果希望峰值流量跨区域溢出,请为两个区域中的集群都预留余量。
  • 仅发布您添加到网关的集群。 已发布但未加入任何网关的集群不会接收任何流量,但其网络负载均衡器仍会运行并产生费用。
  • 覆盖每个模型。 其中的每个调度程序 InferenceGatewayConfig 会将模型名称映射到为其提供服务的 Pod。不在任何调度程序中的模型无法通过网关访问,对该模型的请求会返回 404 错误。
  • 确保附加组件配置完整。 使用 --resolve-conflicts OVERWRITE时,配置不完整可能会重置您的负载均衡器或 TLS 设置。每次都应从当前配置开始。
  • 在每条命令中传递 --context 每个 kubectl 命令。 您需要跨多个集群开展工作,因此请确保每条命令都针对您预期的集群运行。
  • 需要时,将工作负载保留在一个区域内。 创建一个仅包含该区域内集群的网关。

结论

在本文中,我们介绍了 Amazon SageMaker HyperPod Global Inference Gateway:通过一个由 SageMaker 管理的端点,访问同一区域或多个区域中的 HyperPod 集群。该网关会根据 KV cache 余量、队列深度、区域距离和错误率选择集群,并在集群发生故障时将流量转移出去,而无需客户端进行任何更改。

Global Inference Gateway 已在 13 个 AWS 区域推出:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、南美洲(圣保罗)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(斯德哥尔摩)、亚太地区(东京)、亚太地区(孟买)、亚太地区(新加坡)和亚太地区(悉尼)。

要开始使用,请参阅 AWS 文档.


关于作者