人工智能

借助 Amazon SageMaker AI 中的跨区域推理路由,在区域容量不足期间保持推理持续运行

从多个 AWS 区域提供模型服务,是实现高可用推理的一种成熟模式:当一个区域的 GPU 容量不足时,请求会转移到另一个区域。这种模式描述起来简单,运维起来却很困难。此前,如果您通过 Amazon SageMaker AI 托管端点提供模型服务,仍需自行构建跨区域路由功能。

今天,我们推出 Amazon SageMaker AI 跨区域推理路由。该功能使用一种名为“推理路由器”的新资源,为您的应用程序提供一条统一的调用路径,连接您已在一个或多个 AWS 区域和 AWS 账户中运行的端点与推理组件。您只需注册用于提供模型服务的目的地,应用程序便可调用路由器,而非某个特定端点。当本地目的地运行正常时,路由器会将请求保留在自身所在区域;当本地目的地无法正常服务时,则会把新请求转移到另一个已注册的目的地,并在恢复后逐步将流量切回。

在本文中,我们将说明跨区域推理路由如何决定每个请求在哪里运行,通过一个模型部署在两个区域的示例演示其工作方式,并介绍监控、限制和费用。有关为多个模型提供服务的跨账户部署,请参阅 Salesforce 如何借助 Amazon SageMaker AI 中的跨区域推理路由推进全球规模的模型服务.

当一个区域的容量不足时

SageMaker AI 端点运行在一个 AWS 区域和一个账户中。当自动扩缩无法添加端点所需类型的实例时,即使同一模型在另一个区域仍有闲置容量,请求也会受到限流并超时。要使用这些容量,您的应用程序必须检测运行不佳的端点并切换区域,判断哪些错误可以安全重试而不会使模型运行两次,在恢复后将流量切回且避免反复切换,并管理对其他账户中端点的访问权限。这些代码位于每个请求的关键路径上,而且每个跨区域提供模型服务的团队都要维护自己的实现版本。

跨区域推理路由的工作原理

跨区域推理路由基于以下几个核心理念:

  • 您决定模型可能在哪里运行—— 对于每个模型,您可以选择路由器可能使用的端点和推理组件。
  • SageMaker AI 决定由哪个目的地处理每个请求—— 路由器优先使用自身所在区域,仅当本地目的地无法可靠提供服务时,才会将新请求转移到另一个目的地。
  • 您的端点保持不变—— 您可以继续按当前方式部署端点,使用相同的模型、配置、实例池和自动扩缩设置。直接 InvokeEndpoint 调用仍可继续使用,路由器也会透传 InferenceId 和 CustomAttributes ,就像 InvokeEndpoint 一样。
  • 您可以查看每项决策—— 每个实时响应都会告诉您由哪个目的地处理了请求以及作出该选择的原因。

以下几个术语用于描述各个组成部分:

  • 推理路由器 ——您账户中的一种区域级 SageMaker AI 资源,由您的应用程序调用。
  • 路由目标 ——路由器上一个逻辑模型的名称,例如。一个路由器可以包含多个路由目标,每个目标都能独立于其他目标进行故障转移。 fraud-model目的地
  • ——注册在某个路由目标下的实时端点、推理组件或异步端点,以其完整的 Amazon 资源名称(ARN)标识;ARN 会向路由器指明其所在区域和账户。一个路由目标可以包含实时目的地(可混合使用跨区域、跨账户的端点和推理组件),也可以仅包含异步端点。 本地目的地
  • ——与路由器位于同一区域的目的地,在其运行正常时会被优先使用。 路由原因
  • ——随每个实时响应返回的值,用于说明请求被路由到哪里以及原因。 创建路由器的区域就是其本地区域。若要优先使用其他区域,请在该区域创建路由器。路由器不会创建容量、扩缩端点、部署模型,也不会复制模型构件和容器映像。每个目的地必须已在其所在区域中运行。

图 1:每个请求都会发送到运行正常的目的地,路由器会优先选择自身所在区域中的目的地

Inference router architecture: a client invokes a router in Region A, which sends requests to a local destination and falls back to destinations in Region B in the same account and in another account

路由决策的制定方式

路由器只会考虑已在路由目标中注册且其有权调用的目的地。在这些目的地中,路由器优先选择自身所在区域中的目的地;当有多个本地目的地运行正常时,会将请求均匀分配给它们。只有当本地目的地无法可靠提供服务时,请求才会离开该区域。为检测这种情况,SageMaker AI 会根据每个目的地近期处理的请求计算其运行状况分数,相关指标在目的地自身所在区域中测量。服务器错误(5xx)、限流和超时会降低该分数。SageMaker AI 平台引发的错误(例如运行状况检查失败)对分数的影响最大。由请求本身导致的错误(例如输入无效)不会降低分数,因为同一请求在任何区域都会失败。模型延迟不属于计算依据,因此只要端点持续返回成功响应,就会继续接收流量。实例启动失败或端点运行的实例数少于自动扩缩目标等信号,会使路由器更快作出反应,但前提是该目的地已经开始出现请求失败。

路由器会评估每个目的地的运行状况,并将其作为三种状态之一发布到 Amazon CloudWatch。处于

状态的目的地正常提供服务。处于 healthy 状态的目的地仍会提供服务,但路由器会将其部分流量转移出去。处于 overloaded 状态的目的地正在发生故障或无法提供服务,因此路由器会转移其大部分流量,同时保留少量流量以检测其是否恢复。 degraded 图 2:每种目的地运行状况如何改变路由器发送给它的流量

Diagram of the three destination health states (healthy, overloaded, degraded) and the share of traffic each one receives

SageMaker AI 会管理故障转移阈值和时序,因此您无需调整任何阈值。

如果远程目的地的运行状况信息过时,路由器会将流量保留在自身所在区域,因此监控数据中断本身绝不会导致流量转移。

流量何时转移,又何时切回

失败的请求越多,转移的流量就越多,因此目的地不必先彻底失效。持续发生错误约一分钟后,流量便会开始转移;对于流量较少的目的地,所需时间会更长。离开本地区域的流量会按照远程健康目的地的运行状况比例分配。您无法设置权重或故障转移顺序。恢复后,流量会在几分钟内逐步回切,速度比转移出去时更慢。正在处理的请求不会中断。

当某个目的地未运行模型便使实时请求失败时,路由器会在另一个目的地重试该请求一次。例如,这适用于限流、503 错误、模型尚未就绪、因跨区域流量上限而被拒绝,或目的地拒绝访问等情况。对于超时、500 错误或模型错误,路由器绝不会重试。

对于异步请求,路由器会依次尝试每个符合条件的目的地,每个目的地尝试一次,并优先尝试本地目的地,直到有一个接受请求。

Flow diagram: a real-time request fails at one destination before the model runs and is retried once on another destination

图 3:路由器会在另一个目的地重试实时请求一次,并且仅在模型未运行时重试

图 4 展示了在我们使用测试模型进行的一项测试中,请求由哪些位置提供服务。

Chart of where test requests were served as the local endpoint was overloaded, a cross-account destination lost access, and recovered

图 4:本地端点过载、另一个账户中的目的地失去并恢复访问权限,以及本地端点恢复期间,请求由哪些位置提供服务

可以路由的内容

以下使用场景展示了在 Amazon SageMaker AI 中使用跨区域推理路由的常见方式。

  • 在一个区域 GPU 容量不足时继续提供服务。 当流量高峰期间美国东部(俄亥俄)区域的 G 系列实例类型容量不足并且请求开始受到限流时,路由器会将新请求转移到美国西部(俄勒冈)区域中的同一模型,由自动扩缩吸收溢出流量;美国东部(俄亥俄)区域恢复后,再逐步将流量切回。
  • 在不同 AWS 账户拥有的端点之间进行路由。 当中央平台账户拥有路由器,而其他账户拥有端点时,每个端点所有者会向一个指定路由器授予访问权限,请求只能通过该路由器到达这些端点。我们将在本列表之后介绍设置方法。
  • 通过一个路由器提供多个模型。 创建一个路由器,为每个模型配置一个路由目标,每个路由目标列出该模型的目的地,并在每次请求中传入路由目标名称。每个模型独立进行故障转移。
  • 将路由器置于您自己的网关之后。 如果您运营 API 网关或模型网关,可以将其 SageMaker AI 集成指向该路由器。这样,对于托管在 SageMaker 上的模型,由 SageMaker AI 负责选择区域,而您的网关则决定何时使用其他提供商。例如,请参阅 Salesforce 文章.
  • 路由异步请求。 路由器账户或其他账户中的异步端点都可以作为目的地。您的应用程序调用 InvokeInferenceRouterAsync ,并传入路由目标名称和 Amazon Simple Storage Service(Amazon S3)输入位置,随后会收到一个 InferenceId 以及输出位置和失败位置,与 InvokeEndpointAsync.
  • 保护接收端点免受其他区域溢出流量的影响。 在实时端点上,您可以设置可选的跨区域流量上限,使来自其他区域的请求只能使用其部分容量。端点的本地调用方可以继续使用其余容量。我们将在本节后面介绍详细信息。

当目的地与路由器分属不同账户时,两个账户都必须允许每项请求。在端点一侧,所有者需要附加一项基于资源的策略,允许路由器账户调用该端点,而 sagemaker:SourceInferenceRouterArn 条件键会将此访问权限限制为一个指定路由器。以下策略仅允许 my-router 账户 444455556666 中的路由器调用该端点。其第二条语句不包含路由器条件,允许路由器账户读取端点状态。如果没有这条语句,目的地的状态会显示为未知。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowOneRouter",
      "Effect": "Allow",
      "Principal": {"AWS": "arn:aws:iam::444455556666:root"},
      "Action": ["sagemaker:InvokeEndpoint", "sagemaker:InvokeEndpointAsync"],
      "Resource": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/my-endpoint",
      "Condition": {"ArnEquals": {
        "sagemaker:SourceInferenceRouterArn": "arn:aws:sagemaker:us-east-2:444455556666:inference-router/my-router"}}
    },
    {
      "Sid": "AllowStatusVisibility",
      "Effect": "Allow",
      "Principal": {"AWS": "arn:aws:iam::444455556666:root"},
      "Action": "sagemaker:DescribeEndpoint",
      "Resource": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/my-endpoint"
    }
  ]
}

在路由器账户中,调用方需要对路由器拥有 sagemaker:InvokeInferenceRouter (或 sagemaker:InvokeInferenceRouterAsync) 权限,并需要对每个目的地拥有 sagemaker:InvokeEndpoint (或 sagemaker:InvokeEndpointAsync) 权限,因为路由器会代表调用方调用每个目的地。路由器绝不会让调用方获得其无法直接调用的端点的访问权限。要让 DescribeInferenceRouter 报告每个目的地的状态,调用方还需要对端点拥有 sagemaker:DescribeEndpoint 权限,并对推理组件拥有 sagemaker:DescribeInferenceComponent 权限。其他账户中的应用程序通过代入路由器账户中的角色来调用路由器。有关操作演示,请参阅 Salesforce 如何利用 Amazon SageMaker AI 中的跨区域推理路由推进全球规模的模型服务 以及 有关跨账户目的地的《用户指南》.

Controls the endpoint owner keeps: an endpoint policy that allows one named router, and an optional cross-Region traffic cap

图 5:端点所有者保留的控制措施:仅允许一个指定路由器的端点策略,以及可选的跨区域流量上限

使用跨区域流量上限保护接收端点

当路由器将请求从容量不足的区域转移出去时,这些请求会到达已经在为其所在区域的调用方提供服务的端点。默认情况下,接收端点可以接受任意数量的跨区域流量,因此溢出流量激增可能会导致其受到限流。通过跨区域流量上限,端点所有者可以决定其他区域最多能够使用端点的多少容量。

您可以在 CreateEndpointConfig 中使用 CrossRegionTrafficConfig设置该上限,它需要两个必填值。 MaxInvocationsPerSecondPerInstance 表示单个实例每秒能够接受的调用次数,需要通过针对您的模型、实例类型和典型负载进行负载测试来测定。 MaxCrossRegionPercentPerEndpoint 表示其他区域可以使用的容量比例。SageMaker AI 将每实例速率乘以正在提供服务的实例数,再应用该百分比,因此上限会随自动扩缩而变化。例如,若每个实例每秒可处理 50 次调用、上限为 20%,并且有 4 个实例正在提供服务,则该端点每秒最多接受来自其他区域的 40 个请求。当自动扩缩新增 2 个实例时,上限会提高到每秒 60 个请求。

sm = boto3.client("sagemaker", region_name="us-west-2")
sm.create_endpoint_config(
    EndpointConfigName="my-model-config-us-west-2",
    ProductionVariants=[...],  # your existing variants, unchanged
    CrossRegionTrafficConfig={
        "MaxInvocationsPerSecondPerInstance": 50,
        "MaxCrossRegionPercentPerEndpoint": 20,
    },
)

只有来自其他区域的请求才会计入该上限。来自端点自身所在区域的请求,包括直接 InvokeEndpoint 调用以及来自同一区域内路由器的调用绝不会受到该上限的限制。当跨区域请求超过上限时,端点会在模型运行前拒绝多余请求,路由器则会在另一个目的地重试每个请求一次。如果没有其他目的地能够接收请求,您的应用程序会收到限流错误。

该上限适用于实时端点,并且一个端点上的所有推理组件共享此上限。对于托管推理组件的端点,请使用其通常的推理组件组合和负载对一个实例进行负载测试,以测量 MaxInvocationsPerSecondPerInstance,并在该组合或负载发生变化时重新运行测试。如果省略 CrossRegionTrafficConfig,端点将接受任意数量的跨区域流量。

开始使用:在两个区域中部署一个模型

在本示例中,我们使用 vLLM 容器,将 Qwen3-4B 作为推理组件部署到同一账户的美国东部(俄亥俄)和美国西部(俄勒冈)。由于推理路由器不支持响应流式传输,应用程序会发送非流式请求,而且每个请求必须在大约一分钟内完成,这与 InvokeEndpoint的限制相同。然后,我们在美国东部(俄亥俄)创建一个路由器,其中包含一个列出这两个目的地的路由目标:

sm = boto3.client("sagemaker", region_name="us-east-2")
rt = boto3.client("sagemaker-inference-router-runtime", region_name="us-east-2")

sm.create_inference_router(
    InferenceRouterName="my-router",
    RoutingTargets=[{
        "Name": "my-model",
        "Destinations": [
            {"ResourceArn": "arn:aws:sagemaker:us-east-2:111122223333:inference-component/ic-us-east-2"},
            {"ResourceArn": "arn:aws:sagemaker:us-west-2:111122223333:inference-component/ic-us-west-2"},
        ],
    }],
)

运行 DescribeInferenceRouter ,并在发送流量前确认每个目的地的 RoutingStatus 均为 Routable 。

应用程序使用路由目标名称和它发送给 InvokeEndpoint的相同负载调用路由器,并从响应中读取提供服务的目的地和路由原因:

resp = rt.invoke_inference_router(
    InferenceRouterName="my-router",
    RoutingTargetName="my-model",
    ContentType="application/json",
    Body=json.dumps({"messages": [{"role": "user", "content": "Who are you?"}]}),
)
print("Served by:", resp["InvokedRoutedResourceArn"])
print("Reason:   ", resp["RoutingReason"])

我们的观察结果

步骤 RoutingStatus ,位于 DescribeInferenceRouter (us-east-2 / us-west-2) 提供服务的目的地 路由原因
两个推理组件均在运行 Routable / Routable us-east-2 local-preferred
移除 us-east-2 推理组件 Unroutable / Routable us-west-2 only-healthy
恢复 us-east-2 推理组件 Routable / Routable us-west-2 only-healthy
流量返回 us-east-2 Routable / Routable us-east-2 local-preferred

当美国东部(俄亥俄)的推理组件运行时,流量一直留在该区域;移除该组件后,流量会转移到美国西部(俄勒冈),应用程序无需进行任何更改;恢复该组件后,流量又返回原区域。

本示例的完整 笔记本 可在 GitHub 上获取。

提示: 结合使用实例池和跨区域推理路由。借助容量感知型实例池,SageMaker AI 可以在创建和扩容期间使用同一区域内的另一种实例类型。当本地端点整体无法提供服务时,路由器会将新请求转移到另一个区域。有关详细信息,请参阅 容量感知型推理:SageMaker AI 端点的自动实例回退.

查看每个请求的去向

推理路由器提供两种路由视图:每个实时响应中的记录,以及 CloudWatch 中的指标。

每请求路由记录

每个实时响应都会在 InvokedRoutedResourceArn中包含为请求提供服务的目的地 ARN,并在 RoutingReason中包含路由原因。路由原因是以下之一:

  • local-preferred ——由路由器所在区域内的健康目的地提供服务。
  • capacity-available ——由具有可用容量的目的地提供服务。
  • failover ——从无法可靠提供服务的目的地转移出去。
  • only-healthy ——由唯一符合条件且健康的目的地提供服务。

我们建议将这两个值与应用程序自身的请求日志一起记录。

异步响应不包含提供服务的目的地。CloudWatch 中的路由器指标会显示异步请求被分配到何处。

CloudWatch 中的路由器指标

路由器会将 OpenTelemetry 指标发布到其自身账户和区域中的 CloudWatch,并使用路由器、路由目标和目的地作为标签:

  • aws.sagemaker.inference_router.invocations ——每个目的地的请求数,失败时带有 error.type 标签(invocation_4xx, invocation_5xx,或 invocation_model_error).
  • aws.sagemaker.inference_router.destination.duration ——在目的地所花费的时间,包括模型运行时间。
  • aws.sagemaker.inference_router.overhead.duration ——路由器自身的处理时间,加上往返另一个区域的网络时间。
  • aws.sagemaker.inference_router.destination.status ——每个目的地的状态为 healthy, overloaded,或 degraded.

针对状态不健康的目的地以及涵盖所有错误类型的总体错误率设置警报。请参阅 使用 Amazon CloudWatch 和 AWS CloudTrail 监控推理路由器.

Chart over time of requests per destination, from the router’s CloudWatch invocations metric, during the test in Figure 4

图 6:图 4 所示测试期间,路由器 CloudWatch 调用指标中每个目的地的请求数

每个目的地端点会继续在其自身账户和区域中发布现有的 SageMaker AI 指标。要在一处查看这些指标,请使用 CloudWatch 跨账户可观测性和跨账户、跨区域控制面板。

AWS CloudTrail 会将路由器的 API 调用(创建、更新、删除、描述和列出)记录为管理事件,并将路由器调用记录为数据事件。您可以像为其他 SageMaker AI 数据事件一样,在跟踪中启用数据事件。

规划部署

使用推理路由器进行设计时,请注意以下事项:

  • 将路由器放在大部分流量的来源区域。 路由器始终优先选择其自身区域内的目的地。
  • 为每个区域配置足以处理自身流量及预期接收的溢出流量的容量。 默认情况下,接收端点会接受任意数量的跨区域流量,因此请为自动扩缩配置足够余量,以容纳预期的溢出流量。要保护端点的本地调用方,请按照 使用跨区域流量上限保护接收端点中的说明设置跨区域流量上限。如果所有远程目的地均达到上限,超出合计上限的请求将返回限流错误。
  • 保留一个低成本的备用区域。 您可以在另一个区域注册推理组件并维持较低成本,但需要规划它如何获得容量。发生故障转移时,副本数为零的远程推理组件只会接收少量流量,而且在其拥有副本前,这些请求都会失败。请保持至少一个副本运行,或者为副本配置自动扩缩,并在依赖备用区域前确认它能够完成扩容。
  • 为入口点的弹性做好规划。 路由器是区域性资源,因此如果其所在区域受损,对它的调用将会失败。请在两个区域中创建路由器,并在客户端进行切换。
  • 仅注册允许处理您数据的目的地。 请求可能在路由器所在区域处理,也可能在您注册了目的地的任何区域处理。对于必须留在同一地理范围内的数据,请使用单独的路由器,例如分别为美国数据和欧盟数据设置路由器。您有责任配置路由器,使其符合您的数据驻留和合规义务。
  • 保持适度的自行重试次数。 限流错误意味着所有目的地都很繁忙,而服务不可用错误意味着没有目的地能够接收请求。大约一分钟后出现服务不可用错误,表示请求已超时,但模型可能已经运行,因此请勿自动重试。
  • 从路由器中移除已删除的目的地。 流量已会避开被删除的端点,但路由器不会自行移除目的地。
  • 以私有方式调用路由器。 虚拟私有云(VPC)中的应用程序可以通过接口 VPC 端点(AWS PrivateLink)调用路由器,该端点支持 IPv4(不支持 IPv6/双栈)。

另请注意以下限制:

  • 不支持响应流式传输。
  • 如果目的地在大约一分钟内未响应实时请求,该请求将失败并返回服务不可用错误。
  • 每个路由器最多可包含 20 个路由目标,每个路由目标最多可包含 10 个目的地,实时请求负载最大为 6 MB。有关默认配额(例如每个账户的路由器数量和请求速率)以及如何申请提高配额的信息,请参阅 Amazon SageMaker AI 文档中的服务配额。

总结

Amazon SageMaker AI 中的跨区域推理路由可为您的应用程序提供一条统一的调用路径,用于访问您已在多个 AWS Region 和 AWS 账户中运行的端点和推理组件。路由器优先选择自身所在区域;当某个目的地无法可靠地提供服务时,它会转移新请求;恢复后再逐步将流量切回;同时还会显示每个请求的运行位置及选择该位置的原因。您的端点、模型、容器和自动扩缩策略均无需更改。

从今天起,跨区域推理路由已在大多数商业 AWS Region(me-south-1 和 me-central-1 除外)正式可用,并支持实时推理和异步推理。

使用 Amazon SageMaker AI 的跨区域推理路由无需支付额外费用。对于处理请求的 SageMaker AI 端点和推理组件,无论请求是直接到达还是通过推理路由器到达,您都需按照 SageMaker AI 标准定价付费。推理路由器会将指标发布到路由器账户中的 Amazon CloudWatch,您需按照 CloudWatch 标准费率为这些指标及对其运行的任何查询付费。有关详细信息,请参阅 Amazon SageMaker AI 定价。

要开始使用,请参阅 Amazon SageMaker AI 文档 中有关跨区域推理路由的内容,并查看 GitHub 上的示例 笔记本 。


关于作者