人工智能
Salesforce 如何借助 Amazon SageMaker AI 跨区域推理路由扩展全球模型服务感谢 Salesforce 的 AI/ML 高级总监 Amit Gupta 和软件工程 PMTS Mark Wang,他们为 SageMaker AI 跨区域推理路由的愿景与合作做出了贡献。
Salesforce 的 Agentforce Foundation 团队在 30 多个全球区域中为 Salesforce 旗下产品提供各种模型服务,包括 Agentforce 和 Salesforce Trust Layer。这些模型既包括内部训练的模型,也包括开源模型。在每个区域分别托管模型会分散容量,使流量高峰更难消化,从而让容量不足演变成可用性问题。
本文介绍 Salesforce 如何在 SageMaker AI 中设置跨区域推理路由,以及该功能如何帮助团队在履行数据驻留承诺的同时安全地增加容量。文章还会说明 Salesforce 如何查看每个请求由何处提供服务及其原因。跨区域推理路由为应用程序提供一条统一调用路径,连接多个区域和账户中的 SageMaker AI 端点,并将每个请求发送到能够处理该请求的端点。这些端点均为 Salesforce 自有且已部署的端点。本文首先介绍 Salesforce 面临的容量问题,随后解释路由器的工作原理以及 Salesforce 如何将其集成到内部网关中,接着演示一个设置示例,最后说明团队观察到的结果。
为何为这些模型提供服务会使容量成为可靠性问题
Salesforce 的 Agentforce Foundation 团队在 30 多个全球区域和数百个 AWS 账户中,从客户请求发出的区域为客户提供服务,并根据每位客户的流量预置容量。每位客户都有自己的高峰时段,而这些时段经常重叠。按照重叠高峰预置容量是稳妥的选择,但成本过高。客户还会临时接入新的业务部门,因此团队必须迅速扩展实例集群。逐个区域快速增加容量会导致 Salesforce 的容量碎片化:一些区域存在闲置实例,另一些区域却容量耗尽。
在 SageMaker AI 推出跨区域推理路由之前,Salesforce 使用其内部网关,将本地端点无法处理的流量发送到其他区域。该团队自行构建和运维这条路径,并辅以基本的运行状况检查、重试和区域切换逻辑。这种方法存在两个缺陷。第一,网关无法从本地或远程端点获取容量信号,因此无法判断何时应转移流量,也无法确定目标端点是否还有余量。第二,跨区域流量必须通过 NAT 网关和互联网网关离开虚拟私有云(VPC),并经由 AWS 公共网络传输。在设计评审中,团队还提出了级联故障风险:在事故期间转移流量可能使下一个区域过载,因此 Salesforce 需要对跨区域流量设置上限。
在每个应用程序中分别构建这套逻辑,无法在整个 Salesforce 范围内扩展。团队需要一条托管式、可感知容量的路由路径。
推理路由器的作用
推理路由器是您账户中的区域级 SageMaker AI 资源。应用程序不再调用端点,而是调用路由器,并传入一个路由目标名称,同时使用与目前发送给 InvokeEndpoint 相同的请求正文和内容类型。路由目标是您为一个逻辑模型选择的名称,例如毒性分类器;它通过完整的 Amazon 资源名称(ARN)列出可以为该模型提供服务的端点和推理组件。一个路由器为每个模型保存一个路由目标,某个模型的端点出现问题不会转移其他模型的流量。一个路由目标可以混合使用单模型端点和推理组件。
由于每个目标都由其 ARN 指定,因此它可以位于其他区域或其他 AWS 账户中。端点所属账户通过基于资源的端点策略授予访问权限,允许一个指定路由器调用该端点;Salesforce 正是以这种方式运行该功能。
路由器优先选择自身所在的区域;只要本地目标能够成功提供服务,请求就会留在本地。路由器根据近期请求的结果判断每个目标的运行状况。平台故障、模型容器返回的 5xx 错误、限流和超时都会降低目标的健康度。随着这些问题持续发生,路由器会将越来越多的新请求转移到健康的目标,通常在大约一分钟内开始转移。对于流量较少的目标,这一过程可能需要几分钟。扩缩容进度和实例启动失败等信号会影响错误出现后路由器的响应速度,但这些信号本身不会触发流量转移。恢复后,流量会在几分钟内逐步回流,速度比流出时更慢,从而避免来回摆动。如果某个目标在未运行模型的情况下处理请求失败,例如对请求进行限流,路由器会在另一个目标上重试该请求一次。
无效输入等客户端错误不会触发流量转移,因为此类请求在任何区域都会以相同方式失败。模型延迟也不会触发流量转移,因为响应缓慢通常是由较长的提示词或输出造成的,其本身并不意味着端点不健康。路由器也不会部署模型、复制构件或增加实例。它使用您已经部署的容量,而每个端点自身的自动扩缩功能会随着流量增长继续增加实例。
Salesforce 如何将路由器集成到内部网关中
在 Salesforce 的内部网关中,路由器调用所处的位置与原先的直接调用完全相同 InvokeEndpoint 调用原先位于每个请求的出站路径中:在数据驻留检查之后、响应处理之前。这项检查是网关保留的唯一一项路由决策。带有驻留要求标记的请求会固定到其区域内的路由目标,而该目标的唯一目的地是本地端点,因此绝不会跨边界进行故障切换。其他所有请求都会被发送到路由器,请求正文、内容类型和接受类型与网关原先发送的完全相同。容量感知、健康评估和故障切换现在都由路由层负责,而不再位于 Salesforce 的代码中。
图 1:Salesforce 跨区域推理路由的端到端架构。在每个区域中,内部网关都通过 VPC 端点(AWS PrivateLink)发送客户端请求。数据驻留标志设为 true 的请求会直接发送到区域内的端点 A,绝不会离开其所在区域。其他所有请求都会发送到本地推理路由器;默认情况下,路由器将流量发送到本地端点 A,当本地端点出现容量受限的迹象时,则故障切换到另一个区域中的端点 A。
Salesforce 将每个响应中的两个路由字段视为一等遥测数据。网关把 InvokedRoutedResourceArn 和 RoutingReason 与现有的请求 ID、跟踪 ID 记录在同一条结构化日志中,并将其作为应用程序性能监控(APM)标签发出。由于 ARN 包含区域和账户信息,只需一条日志就能看出请求是在本地运行还是跨越了边界,以及原因是:本地优先、故障切换、容量可用或唯一健康。团队在调查流量转移时,会将这些字段与路由器的 Amazon CloudWatch 指标关联起来。
网关的超时设置考虑了跨区域往返延迟,因此发生故障切换的请求有足够时间在远程区域完成。由于路由器已经会在另一个目的地上重试一次,网关自身不再添加重试,从而避免在事件期间尝试次数成倍增加。
示例设置
以下演练展示了 Salesforce 测试的配置,其中使用了示例 ID 和名称。Salesforce 首先在美国西部(俄勒冈)区域(us-west-2)中创建了一个带有本地目的地的路由器,并确认请求已路由到该目的地。随后,团队注册了一个由其他账户拥有、位于美国东部(俄亥俄)区域(us-east-2)的端点,移除了本地目的地,并确认请求能够跨越账户和区域边界到达远程端点。在这些示例中,路由器账户为 111122223333,拥有 us-east-2 端点的账户为 444455556666。
在目的地端点上授权路由器
在拥有 us-east-2 端点的账户中,所有者附加一项基于资源的策略,允许路由器账户调用该端点,并通过条件将访问权限限定到一个指定路由器。此时路由器不必已经存在,因此可以使用计划创建的路由器 ARN。
{
"Version": "2012-10-17",
"Statement": [{
"Sid": "AllowInferenceRouter",
"Effect": "Allow",
"Principal": {"AWS": "arn:aws:iam::111122223333:root"},
"Action": "sagemaker:InvokeEndpoint",
"Resource": "arn:aws:sagemaker:us-east-2:444455556666:endpoint/example-toxicity-use2",
"Condition": {"ArnEquals": {"sagemaker:SourceInferenceRouterArn":
"arn:aws:sagemaker:us-west-2:111122223333:inference-router/example-agent-router"}}
}]
}
# Run in account 444455556666, in the endpoint's Region
aws sagemaker put-endpoint-policy \
--endpoint-name example-toxicity-use2 \
--resource-policy file://policy.json \
--region us-east-2
该 sagemaker:SourceInferenceRouterArn 条件意味着,路由器账户只能通过该路由器访问端点。端点所有者可随时通过以下方式撤销访问权限: delete-endpoint-policy.
创建路由器
在路由器账户中,于 us-west-2 创建路由器,并为其配置一个按 ARN 列出两个目的地的路由目标。
import boto3
ir = boto3.client("sagemaker", region_name="us-west-2")
response = ir.create_inference_router(
InferenceRouterName="example-agent-router",
RoutingTargets=[
{
"Name": "toxicity-detection",
"Destinations": [
{"ResourceArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/example-toxicity-usw2"},
{"ResourceArn": "arn:aws:sagemaker:us-east-2:444455556666:endpoint/example-toxicity-use2"},
],
}
],
)
print(response["InferenceRouterArn"])
每增加一个模型,就会在以下位置增加一个条目: RoutingTargets.
确认每个目的地均可路由
发送流量之前,请调用 DescribeInferenceRouter 并检查每个目的地的 RoutingStatus。Routable 表示 SageMaker AI 能够读取该目的地,并且该目的地可以处理流量。Unroutable 表示目的地已被读取,但当前无法处理流量,例如端点并非处于 InService 状态。Unknown 表示 SageMaker AI 无法使用您的凭证读取目的地,例如因为您缺少 sagemaker:DescribeEndpoint (对于推理组件,则缺少 sagemaker:DescribeInferenceComponent ),或者对于其他账户中的目的地,其端点策略未授予 Describe 权限。
desc = ir.describe_inference_router(InferenceRouterName="example-agent-router")
for target in desc["RoutingTargets"]:
for dest in target["Destinations"]:
print(target["Name"], dest["ResourceArn"], dest["RoutingStatus"])
调用路由器而不是端点
调用代码只需做少量更改。请求正文、内容类型和接受类型保持完全不变。客户端和操作需要更改,端点名称则替换为路由器名称和路由目标名称。
import json
import boto3
payload = json.dumps({"inputs": "Example input"})
# Before: call one endpoint directly
smr = boto3.client("sagemaker-runtime", region_name="us-west-2")
resp = smr.invoke_endpoint(
EndpointName="example-toxicity-usw2",
ContentType="application/json",
Body=payload,
)
# After: call the router
rt = boto3.client("sagemaker-inference-router-runtime", region_name="us-west-2")
resp = rt.invoke_inference_router(
InferenceRouterName="example-agent-router",
RoutingTargetName="toxicity-detection",
ContentType="application/json",
Body=payload,
)
print("Served by:", resp["InvokedRoutedResourceArn"])
print("Reason: ", resp["RoutingReason"])
print("Output: ", resp["Body"].read().decode())
一个 InferenceId 和 CustomAttributes 会像使用 InvokeEndpoint时一样透传给目的地,因此跟踪 ID 等标识符会随请求一同传递。 TargetVariant 和 InferenceComponentName 等成员不会被使用,因为路由目标取代了它们。
查看请求被发送到了哪里
大多数评估路由层的团队首先都会问,如何判断它执行了什么操作。推理路由器会在每个响应中以及 Amazon CloudWatch 中给出答案。每个响应都包含为其提供服务的目的地 ARN 和路由原因,这些信息位于 InvokedRoutedResourceArn 和 RoutingReason 字段中,也位于对应的 X-Amzn-SageMaker-Invoked-Routed-Resource-Arn 和 X-Amzn-SageMaker-Invoked-Routing-Reason 标头中。由于 ARN 包含区域和账户信息,将这两个值与您自己的请求日志一同记录,便可获得逐请求记录,判断每次调用是在本地运行还是跨越了边界。
路由原因具有以下四种取值之一。 local-preferred 表示由路由器所在区域中的健康目的地处理了请求。 failover 表示路由器所在区域中存在目的地,但该目的地无法可靠地提供服务,因此路由器将请求发送到了其他位置。 capacity-available 表示路由器所在区域中没有任何目的地能够接收该请求,因此请求被发送到其他区域中的多个健康目的地之一。 only-healthy 表示请求由唯一符合条件且健康的目的地处理。
从汇总层面来看,路由器会将 OpenTelemetry 指标发布到其自身账户和区域中的 CloudWatch。每项指标都带有路由器名称和目的地 ARN,因此可以从一个位置查看跨区域的整体情况。 aws.sagemaker.inference_router.invocations 统计每个目的地的请求数,其 error.type 属性将失败细分为 invocation_4xx、invocation_5xx(包括超时)和 invocation_model_error,后者表示模型返回的错误。
aws.sagemaker.inference_router.destination.duration 衡量每个目的地所用的时间,而 aws.sagemaker.inference_router.overhead.duration 衡量路由器增加的时间,包括与远程区域之间的网络往返时间。 aws.sagemaker.inference_router.destination.status 将每个目的地的健康状态报告为 healthy, overloaded或 degraded。您可以在 CloudWatch Query Studio 中使用 PromQL 查询这些指标,并在跨账户、跨区域控制面板上将它们与每个端点的现有 SageMaker AI 指标并列显示。
图 2:AWS 使用测试模型进行故障切换测试时的 CloudWatch 控制面板。随着本地目的地性能下降,每个目的地的请求从本地 us-east-2 端点转移到 us-west-2 中的端点,并在恢复后逐步返回
跨账户和区域测试故障切换
Salesforce 使用两种配置测试了路由器。第一种是 us-west-2 中的同区域路由,其中内部网关调用本地推理路由器,路由器再将请求发送到本地端点 A。第二种是跨账户、跨区域路由,其中 us-west-2 中的路由器还列出了一个位于 us-east-2、由独立基础设施账户拥有的端点。在发送流量之前,团队调用了 DescribeInferenceRouter ,并确认路由目标列出了两个目的地,且二者报告的 RoutingStatus 均为 Routable。随后,发送到路由器的请求由本地端点提供服务,路由原因为 local-preferred。设置工作量很小:端点所有者为路由器账户添加了一项端点策略,而在网关的出站路径中,路由器调用取代了直接的 InvokeEndpoint 调用,请求正文、内容类型和接受类型均保持不变。
为了测试故障切换,团队向 us-west-2 中的本地端点注入大量流量,直至其饱和;与此同时,一个单独的探测程序持续调用路由器,并记录每个请求由何处提供服务以及耗时。大约五分钟的饱和期间,探测延迟的 p50 从 0.2 秒升至 45 至 58 秒,而流量仍留在 us-west-2。这是预期行为,因为仅凭延迟并不会触发流量转移。当请求开始超过模型容器的 60 秒处理程序超时限制并返回错误时,路由器开始转移流量。首次出现错误约两分钟后,第一批请求到达 us-east-2;再过一分钟,约 78% 的探测流量由 us-east-2 提供服务。其余 20% 至 25% 的流量仍留在本地,以便路由器能够检测恢复情况。
流量转移后,p50 延迟恢复至 0.2 秒,跨区域路径在 p50 下增加的延迟低于 100 毫秒。本地端点恢复后,流量在大约 10 分钟内逐步返回 us-west-2,探测程序在故障切换和故障恢复期间均未记录到错误。每个响应中的 InvokedRoutedResourceArn 和 RoutingReason 字段,以及 CloudWatch 中路由器按目的地划分的调用指标,无需任何额外检测手段便呈现了整个过程。
图 3:Salesforce 故障切换测试期间按区域划分的探测请求占比(UTC)。本地端点饱和时,流量仍留在 us-west-2;请求开始返回错误后,流量转移至 us-east-2(峰值约为 78%);恢复后,流量在大约 10 分钟内逐步返回 us-west-2。
借助该路由器,Salesforce 可以取代过去由团队自行构建和运行的运维逻辑,包括内部网关中的运行状况检查、重试和区域切换逻辑。容量信号和故障切换如今由路由层处理,而不再分散于各个应用程序中。
在更广泛采用之前,Salesforce 计划在本地端点保持饱和更长时间的情况下重复进行故障切换测试,以毫秒级精度测量跨区域延迟,评估达到跨区域上限时的区域级联行为,并将路由器推广到更多区域。
“借助 Amazon SageMaker AI 新增的跨区域推理路由功能,我们可以安全地增加容量,同时履行数据驻留承诺。必须留在某个区域的工作负载会留在那里,只有符合条件的流量才能由另一个区域提供服务。单次托管调用可与我们现有的故障切换逻辑协同工作,因此我们无需重新设计应用程序架构,也无需更改请求载荷。SageMaker AI 负责路由、运行状况检测和回退,同时客户数据始终处于 Salesforce 信任边界之内。我们决定哪些区域符合条件,并通过由我们掌控的端点策略来控制访问。由于推理路由器可与 Amazon CloudWatch 和 AWS CloudTrail 配合使用,我们还为工作负载获得了一套完整的可观测性、成本跟踪和治理架构。”
——Richard Chang,Salesforce 软件工程架构师
最佳实践与注意事项
请确保在注册的每个区域中都提供相同的模型、容器映像和构件,因为路由器不会复制它们;如果某个目的地运行的是不同的模型版本,它对同一请求将返回不同的答案。
请根据每个目的地区域自身的流量以及预计发送给它的溢出流量来确定其容量。路由器不会创造容量;如果所有符合条件的目的地都处于繁忙状态,您的应用程序将收到这些目的地自身返回的错误。请像目前一样为每个目的地配置自动扩缩,并预留足够的容量余量,使接收端点在收到来自其他区域的流量时,能够根据自身策略进行横向扩展。
客户可以在接收端点的配置中设置上限(CrossRegionTrafficConfig),具体包括每个实例的请求速率,以及远程流量可使用的端点容量最大占比。本地流量永远不会计入该上限。当远程流量达到上限时,端点将停止接受来自其他区域的更多请求,路由器则会将这些请求发送至其他目的地,从而为本地调用方保留容量。该上限适用于实时端点。
结论
Salesforce 在全球 30 多个区域中为公司各类产品提供多种模型服务,而在每个区域分别托管这些模型,已使容量不足演变为可用性问题。借助推理路由器,Salesforce 将其已在不同区域和账户中运行的端点注册到统一调用路径下,使本地端点无法处理的流量能够利用其他位置的容量,而不是直接失败。必须留在某个区域的请求会保留在该区域;端点所有者通过其掌控的策略授权跨账户访问;每个响应都会显示请求在哪里运行以及为何在那里运行。SageMaker AI 负责路由、运行状况评估以及恢复后流量的逐步回切,无需每个调用应用程序自行构建这些逻辑。这使 Salesforce 能够安全地增加容量,同时履行其数据驻留承诺。
Amazon SageMaker AI 的跨区域推理路由自 2026 年 11 月 18 日起正式全面可用,覆盖所有支持实时端点推理的商业区域。要开始使用,请参阅 Amazon SageMaker AI 开发人员指南中的推理路由器文档 以及 CreateInferenceRouter API 参考.
AI 热点