人工智能
Amazon SageMaker HyperPod Global Inference Gateway 正式推出:一个端点连接多个区域和集群在流量高峰期,请求可能滞留在已饱和的 HyperPod 集群队列中,而另一集群(有时位于另一个 AWS 区域)的 GPU 却处于闲置状态。你已经为这些容量付费,但请求却无法使用它们。
在 《Amazon SageMaker HyperPod Inference Gateway 简介》一文中,我们介绍了 Inference Gateway 如何为每个 Amazon SageMaker HyperPod 集群提供一个可感知 GPU 状态的统一端点。它读取键值(KV)缓存利用率和队列深度等实时信号,将每个请求分配到最合适的 Pod。这解决了单个集群内部的路由问题,但无法解决跨集群路由问题。
今天,SageMaker HyperPod 推出了 Global Inference Gateway。这是一个由 SageMaker 托管的统一网关,可在你注册的所有集群之间进行路由,无论这些集群位于同一区域还是跨多个区域。该网关会选择集群,并通过 AWS 骨干网络传输请求,同时提供自动故障转移,以及基于 AWS Signature Version 4(SigV4)和 AWS Identity and Access Management(IAM)的身份验证。在每个集群内部,Inference Gateway 仍会像以前一样继续选择 Pod。Global Inference Gateway 是我们在第 1 部分中所述架构的第二层。
挑战:容量分散在多个集群和区域中
模型规模越来越大,而用于运行这些模型的 GPU 容量也越来越难以获得。为了获得足够的容量,你需要将其分散到更多集群和更多区域中。
假设一个团队使用两个区域中的五个 HyperPod 集群来运行四个模型。如果没有 Inference Gateway,客户端需要跟踪 20 个端点,即每个集群中的每个模型各有一个端点。Inference Gateway 将端点数量减少到了五个,即每个集群一个。但每个客户端仍然需要自行选择集群。
这种选择会带来以下成本:
- 负载不均衡。 在流量高峰期,请求在一个区域中排队,而另一个区域中的 GPU 却处于闲置状态。
- 手动故障转移。 当集群发生故障时,工程师必须更改配置,将流量从该集群转移出去。
- 自定义基础设施。 要将流量分散到多个区域,你需要自行构建和维护负载均衡器、DNS 以及跨区域网络。
该团队需要一个统一端点,能够将每个请求发送到最合适的集群,并在集群发生故障时自动将流量转移出去。
主要优势
Global Inference Gateway 可以帮助你更充分地利用已有的 GPU 容量,同时减少运维工作。
- 让闲置 GPU 发挥作用。 在流量高峰期,请求会溢出到同一区域或其他区域中仍有可用容量的集群,而不会继续在已饱和的集群上排队。
- 自动执行故障转移。 当集群发生故障时,网关会将其流量转移到次优集群。客户端无需进行任何更改。
- 使用一个端点处理所有请求。 客户端只需调用一个由 SageMaker 托管的端点,不必跟踪每个集群或每个模型对应的端点。
- 无需构建自定义网络。 你不需要构建或维护负载均衡器、DNS 或跨区域网络。
- 默认保持私有。 每个请求都会通过 SigV4 和 IAM 进行身份验证,并且只会通过 AWS PrivateLink 到达你的集群。
客户反馈
“在 Bagelcode,我们在 AWS 上运行自己的大语言模型推理服务,帮助公司各团队(包括游戏团队)利用 AI 改进工作方式。在 Beta 测试中,Amazon SageMaker HyperPod 的 Global Inference Gateway 通过单个端点在两个 AWS 区域之间路由请求,并在其中一个集群无法再运行该模型时继续提供服务。这让我们规模较小的平台团队无需构建或维护自己的路由层,就能实现跨区域故障转移。”
——Bagelcode AI 平台副总裁 Jinhyung Park
工作原理
设置网关需要做出两个决定:开放哪些集群用于路由,以及将其中哪些集群组合到同一个网关之后。
- 发布集群。 每个集群只需执行一次此操作。你需要在该集群现有的
spec.globalRouting中启用InferenceGatewayConfig块。随后,HyperPod Inference 控制器会从你自己的账户中以私有方式发布该集群。 - 创建网关。 每个网关只需执行一次此操作。你需要调用
CreateGlobalInferenceGateway并指定要在其间进行路由的集群,SageMaker 随后会返回一个端点。
集群只有在发布后才可访问。发布集群时,控制器会在集群的 Inference Gateway 前创建一个 Network Load Balancer,在其上发布一个虚拟私有云(VPC)端点服务,并将侦听器证书上传到你的 TLS 存储桶。这些资源均位于你的账户中。如果你在发布集群之前就将其列入网关,调用将失败,并显示一条消息,说明需要修复的问题。
请求的流转方式
图 1 展示了每个请求的传输路径:(1) 客户端使用 SigV4 对请求签名,并将其发送到网关的区域端点;(2) 网关验证调用方身份并选择最佳集群;(3) AWS PrivateLink 将请求传输到该集群,无论该集群位于同一区域还是另一个区域;(4) 该集群的 Inference Gateway 像目前一样将请求路由到模型 Pod。
图 1:Global Inference Gateway 通过一个区域端点接收每个请求,并经由 AWS PrivateLink 将请求转发到最合适的 HyperPod 集群,再由该集群的 Inference Gateway 将请求路由到模型 Pod。每个集群都会将其负载信息发送回网关。
由 AWS 负责运营的部分
你决定发布哪些集群、将哪些集群组合到同一个网关之后,以及如何设置路由权重。其余部分由 AWS 负责运营:
- 路由服务集群。 SageMaker 会预置并运营负责终止 TLS 连接、验证调用方身份、为集群评分以及转发每个请求的服务集群。
- 私有连接。 SageMaker 为每个集群创建一个私有端点,并通过 AWS 骨干网络传输区域内和跨区域流量。
- 证书和验证。 该服务使用你创建的执行角色读取每个集群的 VPC 端点服务名称、证书和所在区域,因此你无需手动复制这些信息。服务会在路由流量之前对其进行检查。
- 运行状况和故障转移。 网关会对每个集群执行运行状况检查,并自动将流量从发生故障的集群转移出去。有关详细信息,请参阅“网关运营”部分。
- 身份验证和速率限制。 网关会检查 SigV4 签名、IAM 权限和速率限制,并在任何集群收到不合格请求之前将其拒绝。
在每个集群上,由服务管理且拥有自身 IAM 角色的指标发布器会将集群负载发送到网关。
网关如何选择集群
对于每个请求,网关会根据四项信号对每个运行状况良好的集群进行评分,并将请求发送到得分最高的集群。每个集群的指标发布器都会提供负载信号。
你可以使用路由权重控制每项信号所占的比重。每项权重的取值范围为 0.0 到 1.0,权重为 0 表示关闭该信号。如果设置权重,则必须设置全部四项权重,且其总和必须为 1.0。如果省略权重,则采用下表中的默认值。
| 权重 | 评分内容 | 默认值 |
KVHeadroom |
集群上可用的 KV 缓存和 GPU 内存 | 0.20 |
QueueDepth |
集群的积压程度 | 0.25 |
RegionProximity |
集群与网关所在区域之间的距离 | 0.40 |
ErrorRate |
集群上近期失败的请求 | 0.15 |
默认设置倾向于选择靠近网关所在区域的集群,同时仍会将流量转向有可用容量的集群,并避开出现故障的集群。如果对你的工作负载而言,弹性比邻近性更重要,请提高 ErrorRate 并降低 RegionProximity。例如,以下路由配置块将近期错误的权重设为 0.7:
{"Weights": {"KVHeadroom": 0.1, "QueueDepth": 0.1, "RegionProximity": 0.1, "ErrorRate": 0.7}}
你可以在该参数中传入这些权重 Routing 参数,取值为 CreateGlobalInferenceGateway,你之后可以通过以下方式更改它们: UpdateGlobalInferenceGateway.
选择你的起点
你的路径取决于你当前的运行方式。如果你从单个集群提供服务,请继续使用该集群的 Inference Gateway 端点。添加第二个集群时,再迁移到 Global Inference Gateway。
| 起点 | 你需要执行的操作 | 结果 |
| Inference Gateway 在每个集群上运行,例如在 us-east-1 和 us-west-2 的五个集群上运行四个模型 | 更新附加组件,发布每个集群,并创建网关 | 每个集群共用一个端点。在你迁移客户端期间,各集群的端点会继续提供服务。 |
| HyperPod Inference 附加组件运行时未启用 Inference Gateway | 启用 Inference Gateway,只需更新一次附加组件,并为每个集群启用一个 InferenceGatewayConfig 调度器,然后按照第一行操作 |
每个模型各自的端点合并为一个 |
| 两个区域均有 GPU 容量,但尚未设置 HyperPod Inference | 在每个区域创建一个带有 HyperPod Inference 附加组件的 HyperPod 集群,部署你的模型,启用 Inference Gateway,然后按照第一行操作 | 从第一天起只需一个端点,流量路由可精细调整,而且即使某个区域出现问题,也能继续提供服务 |
入门
要设置 Global Inference Gateway,请准备好每个集群,创建一个执行角色,然后调用 CreateGlobalInferenceGateway。然后,你向该网关端点发送与 OpenAI 兼容且使用 SigV4 签名的请求。有关包括 IAM 角色和策略在内的分步说明,请参阅 AWS 文档.
安全与访问
发送到网关的每个请求都使用 SigV4 签名,并通过 IAM 授权。调用方需要具备调用网关的权限,而流式传输有其专用操作:
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Action": [
"sagemaker:InvokeGlobalInferenceGateway",
"sagemaker:InvokeGlobalInferenceGatewayWithResponseStream"
],
"Resource": "arn:aws:sagemaker:<region>:<account-id>:global-inference-gateway/<gateway-id>"
}]
}
将此策略附加到每个发送请求的 IAM 身份。若要允许账户中的每个网关,请使用 global-inference-gateway/* 作为资源。
执行角色遵循最小权限原则。它只能描述您列出的集群,只能访问这些集群的 Amazon Elastic Kubernetes Service(Amazon EKS)API,并且只能读取以下前缀下的路由证书: gig/ 您的 TLS 存储桶前缀,且带有由 HyperPod Inference 创建的标签。
身份令牌。 如果您的集群检查 JSON Web Token(JWT),请随请求传递令牌,并将其放在 --customer-identity-token (即 X-Amzn-SageMaker-Customer-Identity-Token 标头)中,无需 Bearer 前缀。令牌包含在 SigV4 签名中传输,因此,未签名的令牌会被拒绝并返回 403,重复使用的令牌则会返回 400。请在每个提供模型服务的集群上都启用 JWT 检查,或者全部不启用,以免请求在一个集群上成功,却在另一个集群上失败。
请求仅通过 AWS PrivateLink 到达您的集群,如图 1 所示。该网关不会记录或存储提示词或补全内容。
网关操作
以下是配置网关的步骤。
添加集群
准备新集群,并按照文档所述,在该集群上为执行角色创建 EKS 访问条目。此外,将新集群添加到 Resource 执行角色权限策略的列表中。然后调用 AddInferenceGateway 在网关所在的区域中调用,即使新集群位于其他区域:
aws sagemaker add-inference-gateway \
--identifier <gateway-name> \
--region <region> \
--cluster-arn arn:aws:sagemaker:<region-3>:<account-id>:cluster/<cluster-id-3> \
--name <gateway-config-name-3> \
--namespace inference-gateway
网关会验证集群,并在集群运行状况良好后开始将请求路由到该集群。网关端点、其他集群和客户端均不受影响。
分离集群
在网关所在的区域中调用 RemoveInferenceGateway ,即网关所在的区域:
aws sagemaker remove-inference-gateway \
--identifier <gateway-name> \
--region <region> \
--cluster-arn arn:aws:sagemaker:<region-3>:<account-id>:cluster/<cluster-id-3> \
--name <gateway-config-name-3> \
--namespace inference-gateway
网关停止向该集群发送新请求,等待正在处理的请求完成,并移除私有端点。网关始终至少保留一个集群。若要完全撤下该集群,请设置 globalRouting.enabled: false (在其) InferenceGatewayConfig ,然后重新应用该策略。
删除网关
调用 DeleteGlobalInferenceGateway:
aws sagemaker delete-global-inference-gateway \
--identifier <gateway-name> --region <region>
网关端点停止提供服务,而各集群端点继续提供服务。删除网关后,使用 撤下每个集群, globalRouting.enabled: false然后删除执行角色以及您为全局路由添加的 IAM 权限。
下表概述了常见事件和变更对流量的影响。
| 事件 | 会发生什么 | 您需要执行的操作 |
| 网关创建失败 | 网关迁移到 FAILED,并且 FailureReason 会说明失败原因,例如证书名称不匹配 |
修复问题原因。若要查看每个集群的状态,请调用 ListInferenceGateways. |
| 集群发生故障 | 流量会转移到次优集群,并在发生故障的集群恢复后逐步回流。失败的请求会在另一个集群上重试一次,除非该请求已开始流式传输。如果没有剩余的健康集群,网关将返回 503。 | 无需执行任何操作。客户端无需进行任何更改。 |
| 更改路由权重 | 新请求使用新的权重,正在处理的请求则继续使用旧权重直至完成。无需重新预置任何资源。 | 调用 UpdateGlobalInferenceGateway |
| 添加集群 | 集群运行状况良好后,路由即开始。其他一切均不变。 | 请参阅“添加集群” |
| 分离集群 | 停止接收新请求,并等待正在处理的请求完成 | 请参阅“分离集群” |
| 删除网关 | 网关端点停止提供服务,而各集群端点继续提供服务 | 请参阅“删除网关” |
如需任何故障排除帮助,请参阅 故障排除指南.
最佳实践与注意事项
- 在发布之前规划好集群分组。 确定哪些集群位于每个网关后面,并在所有应共享某个模型流量的集群上使用相同的
modelName在每个应共享某个模型流量的集群上。如果希望峰值流量跨区域溢出,请为两个区域中的集群都预留余量。 - 仅发布您添加到网关的集群。 已发布但未加入任何网关的集群不会接收任何流量,但其网络负载均衡器仍会运行并产生费用。
- 覆盖每个模型。 其中的每个调度程序
InferenceGatewayConfig会将模型名称映射到为其提供服务的 Pod。不在任何调度程序中的模型无法通过网关访问,对该模型的请求会返回 404 错误。 - 确保附加组件配置完整。 使用
--resolve-conflicts OVERWRITE时,配置不完整可能会重置您的负载均衡器或 TLS 设置。每次都应从当前配置开始。 - 在每条命令中传递
--context每个kubectl命令。 您需要跨多个集群开展工作,因此请确保每条命令都针对您预期的集群运行。 - 需要时,将工作负载保留在一个区域内。 创建一个仅包含该区域内集群的网关。
结论
在本文中,我们介绍了 Amazon SageMaker HyperPod Global Inference Gateway:通过一个由 SageMaker 管理的端点,访问同一区域或多个区域中的 HyperPod 集群。该网关会根据 KV cache 余量、队列深度、区域距离和错误率选择集群,并在集群发生故障时将流量转移出去,而无需客户端进行任何更改。
Global Inference Gateway 已在 13 个 AWS 区域推出:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(加利福尼亚北部)、美国西部(俄勒冈)、南美洲(圣保罗)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)、欧洲(斯德哥尔摩)、亚太地区(东京)、亚太地区(孟买)、亚太地区(新加坡)和亚太地区(悉尼)。
要开始使用,请参阅 AWS 文档.
AI 热点