人工智能

Amazon SageMaker Inference:2026 年新功能回顾(下篇)

模型投入生产后,问题也随之改变。团队想知道,在真实流量下模型现在应该采用哪种配置运行;如何在已经付费使用的 GPU 上部署更多模型;当下一个模型大到无法由单台机器承载时该怎么办;为什么一个区域中的请求仍在等待,而另一个区域中的 GPU 却处于闲置状态;以及为什么在没有人做出任何更改的情况下,延迟却上升了。本文将按照团队通常遇到这些问题的顺序逐一讨论。

对于 HyperPod Inference,路线图列出了更多路由策略、对模型服务框架更广泛的支持,以及扩展的多区域网络功能。Inference Gateway 提供路由能力,而托管式 NVIDIA Dynamo 则是一种新的服务框架。对于托管端点,路线图指向了与 AWS AI 生态系统其他部分更深入的集成。现在,推理推荐可以从 Amazon SageMaker AI Studio、SageMaker Python SDK 以及工程师已经在使用的编码智能体中运行,端点也可以跨区域和账户路由请求。

为了让每一节都具体直观,我们将在整篇博文中跟随一个假想团队展开。春季时,他们利用上篇介绍的新功能,在单个 SageMaker AI 端点后部署了一个基于 700 亿参数模型的客户支持助手。到了秋季,他们需要支持更多产品线、采用更大的推理模型、为第二个区域的客户提供服务,同时保持 GPU 费用不变。

新功能概览

Five inference stages in this post and the launches grouped under each

图 1:本文介绍的五个阶段及每个阶段中的新功能

随时随地选择合适的配置

该团队根据 4 月进行的一次基准测试选择了最初的配置。此后,他们添加了四个 LoRA(低秩适配)适配器,每条产品线对应一个;产品团队还设定了一个目标,即峰值负载下的首个令牌生成时间(TTFT)为 500 毫秒。4 月的配置从未针对这两项变化进行过测试。将重新运行分析的工程师在笔记本和编码智能体中工作,而他们中很少有人使用控制台。

推理推荐于 4 月以 API 的形式推出。此后的四项更新使其可在更多团队日常工作的环境中使用,并能够回答两个更棘手的问题:一个端点可以承载多少个适配器,以及在无法达到延迟目标之前它可以处理多大的并发量。一项新的智能体技能将同样的专业能力带入编码智能体。

SageMaker AI Studio 中的推理推荐(2026 年 7 月)

博客: Amazon SageMaker AI 推出生成式 AI 推理推荐用户界面

4 月推出的功能通过 API 实现了实例、容器和优化方案选择的自动化。现在,SageMaker AI Studio 也以引导式低代码工作流的形式提供推理推荐。在 Studio 中,依次选择 作业,然后选择 推理优化。选择用例配置文件(交互、生成、摘要或自定义)、优化目标(最大限度降低延迟、最大限度提高吞吐量或最大限度降低成本),以及来自 SageMaker JumpStart、Amazon Simple Storage Service(Amazon S3)、模型注册表或现有 SageMaker 模型的模型。

SageMaker AI 使用 NVIDIA AIPerf 在真实 GPU 基础设施上对候选配置进行基准测试,并应用与目标相匹配的技术,例如使用推测解码提高吞吐量,或使用内核调优降低延迟。您可以按 TTFT、令牌间延迟、吞吐量和成本比较排序后的结果,然后从 Studio 将选定的配置部署到实时端点。

SageMaker Python SDK v3 中的推理推荐(2026 年 8 月)

博客: Amazon SageMaker Python SDK 的 LLM 优化集成

此前,进行基准测试和获取推荐需要使用 SageMaker AI Studio 或直接调用 Boto3。现在,这些功能已成为 SageMaker Python SDK v3(3.17.0 及更高版本)的一部分;这与团队用于训练和部署的接口相同,因此该工作流可以融入笔记本、CI 管道和 MLOps 工作流。您可以使用工作负载流量对实时端点进行基准测试,针对延迟、吞吐量或成本目标生成排序后的推荐,并通过一次调用将排名最高的配置部署到实时端点。

该 SDK 还支持更长的工作流。您可以并行运行推荐作业,以比较 LMI 和 vLLM 等服务框架;也可以从已完成的作业继续执行,从而在不同的笔记本或管道阶段完成部署,而无须重新运行基准测试。

推理推荐支持 LoRA 适配器(2026 年 9 月)

开发人员指南: 获取带有 LoRA 适配器的模型的推荐

许多团队使用 LoRA 适配器,让一个基础模型专门适配多种用例。GPU 内存中保留的每个适配器都会减少端点能够处理的并发请求数量,而适当的平衡取决于实例类型、适配器数量和流量特征。

现在,推理推荐可以接受两种形式的适配器:对于通过 SageMaker 微调生成的适配器,可使用模型包 Amazon 资源名称(ARN);对于来自 Hugging Face PEFT 等外部管道的适配器,可使用 S3 URI。SageMaker AI 在真实 GPU 基础设施上对适配器数量和并发量的不同组合进行基准测试,并针对您的工作负载返回排序后的结果。输出会为每个适配器列出这两种格式。推荐的部署方式使用 SageMaker 推理组件,其中基础模型对应一个组件,每个适配器各对应一个组件,因此您可以添加、更新或移除适配器,而不会中断基础模型或其他适配器。

基于 SLA 的并发量搜索(2026 年 9 月)

博客: 使用 Amazon SageMaker AI 上的并发量扫描,为生成式 AI 端点选择合适规模

为端点选择合适规模,意味着要找出它在不违反延迟或错误率目标的情况下能够持续承载的最高并发量。此前,这需要手动选择并发级别、运行扫描、根据服务级别协议(SLA)检查结果,并在模型或实例发生变化时使用更窄的范围重复这一过程。

推理推荐现在包含一种可直接找到该边界的搜索功能。将 search_recipe 设置为 max-concurrency-under-sla ,并为最大 TTFT、每个输出词元的最长时间、最大端到端延迟和最大错误率的任意组合提供目标值。基准测试引擎(AIPerf)从较宽的范围开始,根据各次探测通过或失败的情况缩小范围,并以少于线性扫描的迭代次数实现收敛。结果会报告通过测试的最大并发量(feasible_max);如果没有任何级别符合条件,则报告失败的最小并发量(infeasible_min).

该搜索使用与并发量扫描相同的 CreateAIWorkloadConfig 和 CreateAIBenchmarkJob API。可选参数(concurrency_min, concurrency_max, search_max_iterations和 search_initial_points)可限制成本并加快收敛速度。

用于优化生成式 AI 推理的智能体技能(2026 年 10 月)

博客: 新智能体技能:面向编码智能体的 Amazon SageMaker 优化生成式 AI 推理

工程师越来越多地询问编码智能体应使用哪种实例和容器。如果缺乏可靠的知识和真实基准测试数据,智能体只能猜测,而选错实例的后果会在之后表现为无法达到延迟目标或浪费支出。

可通过 AWS 智能体工具包获取的 aws-ai-ml 技能,为 Kiro 等编码智能体提供内置的 SageMaker AI 推理专业知识。工程师用自然语言描述需求后,智能体可以执行以下操作:

  • 寻找合适的实例。 针对 Amazon S3、SageMaker JumpStart 或 Hugging Face Hub 中的模型,根据实测吞吐量、延迟和 TTFT 对部署选项进行排名。
  • 对实时端点进行基准测试。 根据真实负载生成报告,涵盖吞吐量、P50 和 P99 延迟、词元间延迟以及支持的并发量。
  • 比较运行结果。 显示每项指标的百分比变化,从而判断配置变更是否有效。

答案以实测性能为依据,并以 SageMaker Python SDK v3 代码的形式提供,供工程师审核并使用自己的凭证运行。设置大约需要 10 分钟。该技能适用于任何支持模型上下文协议(MCP)的智能体,也可在 SageMaker AI Studio JupyterLab 空间中使用。

对于支持团队,一项包含全部四个适配器的推荐作业,再针对 500 毫秒 TTFT 目标执行并发量搜索,即可取代他们在 4 月进行的手动扫描。负责此任务的工程师可以从笔记本启动作业,也可以要求编码智能体运行作业。

在每块 GPU 上部署更多模型

支持助手并非独自运行。同一账户中还运行着一个嵌入模型、一个重排序器以及一个用于路由工单的小型分类器,每个模型都只使用 GPU 的一小部分。在标准端点上,每个模型副本仍会占用整个加速器,因此即使 GPU 内存尚有空余,团队也会耗尽部署槽位。

SageMaker AI 控制台中的推理组件(2026 年 10 月)

借助推理组件,您可以在一个端点上托管多个模型,并分别设置每个模型的大小和扩缩策略。此前,推理组件只能通过 SDK 和 AWS 命令行界面(AWS CLI)使用。每次创建、调整大小以及配置扩缩策略都必须编写脚本,而且无法通过统一视图查看每个模型的资源使用情况。

现在,您可以在 SageMaker AI 控制台中创建、查看、更新和删除推理组件:

  • 创建和编辑。 创建包含推理组件的端点,之后添加或删除组件,并更改每个组件的加速器、CPU、内存和副本数量。
  • 分别扩缩每个模型。 为每个组件设置自动扩缩策略,最低可缩减至零个副本,使空闲模型不再占用加速器。
  • 监控。 在同一页面上查看警报和各组件的指标。

控制台调用与 SDK 和 CLI 相同的 SageMaker AI API,因此团队可以先从控制台开始,之后再实现自动化,也可以通过可视化方式管理使用脚本创建的组件。

使用 NVIDIA 多实例 GPU 进行 GPU 分区(2026 年 10 月)

博客: SageMaker 推理现已支持多实例 GPU,可最大限度提高模型端点的 GPU 利用率

GPU 分区 使用 NVIDIA 多实例 GPU(MIG)技术,根据加速器类型将一块物理 GPU 划分为最多七个分区。每个分区都有专用的 GPU 计算资源和内存,并提供完整的硬件隔离。您可以在为推理组件创建端点时定义分区布局,并为每个组件选择分区类型。应用程序仍通过推理组件名称调用模型,因此客户端代码无须更改。

MIG 可在分区之间隔离 GPU 计算资源和内存。同一实例上的模型仍会共享主机 CPU、主机内存、网络、存储和端点路由。您仍按整个实例小时的标准费率付费,因此节省来自在每个实例上部署更多模型,而非更低的每小时价格。

Three small models on three separate GPUs compared with the same models sharing partitions of one GPU

图 2:三个小型模型分别部署在三块 GPU 上,与将相同模型部署在一块 GPU 的不同分区中进行对比

对于支持团队,嵌入模型、重排序器和分类器现在分别运行在单个端点的一块 GPU 的不同分区中,团队可通过控制台管理包括助手及其适配器在内的所有组件。

为大于单个实例容量的模型提供服务

团队接下来要部署的是一个推理模型,仅其权重就超过了任何单个实例的 GPU 内存容量。他们还注意到,包含大量检索内容的长提示会减慢端点上所有其他用户的词元生成速度。对于这种规模的模型,他们将工作负载迁移到 HyperPod Inference,以获得专用集群和 Kubernetes 原生控制能力。支持助手则继续留在托管端点上。

HyperPod Inference 上的托管 NVIDIA Dynamo(2026 年 11 月)

博客: Amazon SageMaker HyperPod Inference 上的托管 NVIDIA Dynamo

第 1 部分介绍了 HyperPod 上大模型的两个构建模块:Inference Operator v3.2 中的预填充与解码分离,以及作为托管式分层 KV 缓存一部分的 KV 感知路由。此次发布新增了多节点服务,并改变了技术栈的运维方。NVIDIA Dynamo 是一个开源推理框架,可提供多节点分片服务、预填充与解码分离以及 KV 感知路由。团队此前已经可以在自己的 Kubernetes 集群上运行 Dynamo,但必须自行构建和运维其周边的一切:将一个副本的所有节点部署在一起,配置弹性网络适配器(EFA)网络,使预填充能够以硬件速度将其 KV 缓存传递给解码,维护服务镜像,并在单个故障节点导致多节点副本宕机时进行恢复。

此次发布后,Dynamo 将作为 HyperPod 上的托管式服务引擎运行。Dynamo 负责做出服务决策:如何对模型进行分片、如何拆分预填充与解码,以及将每个请求发送到哪里。HyperPod 则提供这些决策所依赖的基础能力:

  • 容量和网络。 GPU 容量和 EFA 网络将自动预置并完成连接配置。
  • 节点恢复。 监控和替换节点健康状况,并在节点发生故障时自动重新调度多节点工作进程。
  • 端点运维。 自动扩缩容、端点注册、TLS 和可观测性。
  • 统一的安装和升级路径。 Inference Operator 附加组件会将 Dynamo、服务镜像以及 Grove 和 KAI 调度器作为一个整体安装,并统一升级。

Dynamo 为 HyperPod 带来的功能包括:

  • 多节点(分片)服务。 一个模型副本横跨多个节点,因此可以为无法装入任何单个实例的模型提供服务。
  • 预填充与解码分离。 提示词处理和令牌生成在独立的 GPU 池上运行,且每个池都采用适合其工作负载的实例类型,因此长提示词不再拖慢对其他用户的响应。
  • KV 感知路由。 每个请求都会被发送到已持有其 KV 缓存的工作进程,从而缩短 TTFT。

有三种开始方式。在自主管理的 Kubernetes 上运行 Dynamo 的团队可以基本不作改动地沿用现有的 DynamoGraphDeployment (DGD)清单。已经使用 HyperPod Inference 的团队可以更新附加组件,并向现有的 dynamoSpec 添加一小段配置 InferenceEndpointConfig,HyperPod 会将其转换为 DGD,同时现有端点继续提供服务。尚未使用这两者的团队可以从控制台创建启用了该附加组件和 Dynamo 的集群。在每种情况下,客户端都调用标准的 OpenAI 兼容端点,因此客户端代码无需更改。

托管式 Dynamo 支持 vLLM、SGLang 和 TensorRT-LLM,并已在 Amazon SageMaker HyperPod 可用的区域推出。

Architecture of managed NVIDIA Dynamo running on Amazon SageMaker HyperPod Inference

图 3:HyperPod Inference 上的托管式 NVIDIA Dynamo

对于支持团队,推理模型以一个分片副本的形式跨多个节点运行,并使用独立的预填充池和解码池。当某个节点发生故障时,HyperPod 会替换该节点并重新调度副本,无需呼叫值班工程师。

将每个请求发送到能够为其提供服务的 GPU

这款支持助手现已为北美和欧洲的客户提供服务,因此团队在两个区域中运行端点和 HyperPod 集群。在美国早高峰期间,请求在美国区域排队,而团队已经付费使用的欧洲 GPU 却处于闲置状态。此外,部分欧洲流量必须留在欧洲。

路由决定了团队拥有的容量能否得到有效利用。路由发生在四个层级,下面介绍的各项发布分别涵盖其中一个层级:端点内由哪个实例处理请求、HyperPod 集群内由哪个 Pod 处理请求、整个集群队列中由哪个集群处理请求,以及跨区域和账户时由哪个区域端点处理请求。

Request routing across Regions and inside each endpoint or cluster on both deployment paths

图 4:两种部署路径中跨区域以及各端点或集群内部的路由

端点的 KV 缓存感知路由(2026 年 11 月)

博客: Amazon SageMaker AI 实时端点现已支持 KV 缓存感知路由

具有长提示词或多轮对话的应用会在多个请求中重复很长的前缀。模型服务器可以复用匹配的 KV 缓存,但前提是下一个请求被发送到持有该缓存的实例。第 1 部分介绍的前缀感知路由会为每个提示词的开头生成指纹,并将具有匹配前缀的提示词发送到同一实例。由于它依据请求历史记录工作,因此随着模型服务器添加和逐出条目,它对各实例缓存状况的判断会逐渐变得不够准确。

KV 缓存感知路由使用模型容器报告的缓存状态。容器会将缓存创建和逐出事件发布到中央缓存索引,SageMaker AI 随后会将每个请求路由到持有最长匹配缓存前缀的合格实例。这样可以提高长上下文提示词、多轮对话以及共享动态提示词前缀的工作负载的缓存复用率。

它适用于单模型端点以及使用推理组件的端点,包括 LoRA 适配器。它支持 InvokeEndpoint, InvokeEndpointWithResponseStream,以及适用于 Completions 和 Chat Completions 负载的 OpenAI 兼容 API。您可以在端点配置中将其开启。首个版本要求使用经 AWS 验证的模型容器,该容器须实现缓存事件、分词、指标和 OpenAI 兼容接口。您可以在详细推理可观测性中跟踪 KV 缓存命中率。

该使用哪一种。 前缀感知路由适用于任何容器,无需更改容器。KV 缓存感知路由需要经过验证的容器,并会跟踪实际缓存,因此在前缀经常变化或缓存快速更替时最为有用。

HyperPod 的 Inference Gateway(2026 年 9 月)

博客: Amazon SageMaker HyperPod Inference Gateway 简介

在 HyperPod 集群中,容量与需求很少能恰好匹配。一个 Pod 可能正在处理长上下文请求,且其 KV 缓存已接近满载,而另一个 Pod 却处于空闲状态,或已持有下一个请求所需的提示词前缀或 LoRA 适配器。如果无法了解这种 GPU 状态,新请求就会排在繁忙的 Pod 后面,而团队为了保障延迟,只能增加 GPU,而不是充分利用现有 GPU。此外,每个模型都有自己的端点,因此客户端必须为每个模型分别跟踪一个端点。

Inference Gateway 是一种可感知 GPU 状态的路由器,它随 HyperPod Inference Operator 附加组件一起安装,并为每个集群的所有模型提供一个兼容 OpenAI 的统一端点。对于每个请求,它会读取每个模型 Pod 的实时信号并选择最佳 Pod,且各项权重可根据不同工作负载进行调整:

  • KV 缓存利用率。 避开缓存接近满载的 Pod。
  • 队列深度和正在运行的请求数。 避开存在积压的 Pod,并均衡当前工作负载。
  • 前缀缓存命中率。 优先选择可能已持有提示词前缀的 Pod。
  • LoRA 适配器驻留状态。 优先选择已持有所请求适配器的 Pod,从而避免交换延迟。

与轮询路由相比,它在混合 GPU 代际环境中将 P99 首个令牌生成时间(TTFT)最多降低了 97%,在突发流量下最多降低了 98%。该功能已在 SageMaker HyperPod 可用的所有区域推出。

Amazon SageMaker AI 中的跨区域推理路由

博客: 利用 Amazon SageMaker AI 中的跨区域推理路由,在区域容量不足时保持推理持续运行

在托管端点上,同样的理念体现为跨区域推理路由:这项托管路由功能可在团队已部署的区域端点之间转发实时和异步请求,这些端点既可位于同一账户,也可位于不同账户。您可以将提供同一模型的端点归入一个路由目标,应用程序调用该目标,而不是某个特定的区域端点。路由器不会增加容量、复制模型或部署端点,现有调用路径也可继续正常使用。

该路由器取代了目前由团队自行构建的故障转移逻辑:

  • 一条调用路径。 SageMaker 会先尝试本地区域端点;当该端点无法处理请求时,则将流量转移到另一个已注册的端点。
  • 一项路由策略。 该策略结合了端点指标与服务端容量信号,包括客户自身无法观测到的容量不足错误。
  • 私有连接。 跨区域流量通过 AWS PrivateLink 传输,并采用托管式跨账户授权模型,因此路由到其他区域或账户时无需使用互联网或 NAT 网关。
  • 溢出与区域驻留防护机制。 端点所有者可以限制回退端点可接受的跨区域流量,应用程序也可以限定哪些区域可以处理请求。
Cross-Region Inference Router request flow between Regional endpoints

图 5:跨区域推理路由器的请求流程

上线后持续优化端点

迁移两个月后,团队为支持助手添加了检索功能,平均提示词长度大约翻了一番。此时,首个令牌生成时间(TTFT)已高于上线时,但由于没有出现故障,所有警报仍显示为绿色。团队找到更好的配置后,需要将其部署到难以进一步获取的大型 GPU 实例上。

持续性能监控(2026 年 11 月)

博客: Amazon SageMaker AI 现可检测推理端点上的延迟漂移、GPU 闲置和未实施的优化

Amazon SageMaker AI 现可持续监控生成式 AI 推理端点,并在变更可能改善性能或降低成本时通知您。SageMaker AI 推理端点默认启用监控,无需进行任何设置,您也可以选择让端点退出监控。SageMaker AI 仅查看运行信号:延迟、GPU 利用率以及端点的服务配置。它不会读取您的请求或响应。当某项发现达到置信度阈值时,AWS 管理控制台会显示通知;对于使用笔记本和 CLI 的团队,同一消息也会通过电子邮件发送。建议操作会在 SageMaker AI Studio 中打开 SageMaker AI 智能体体验,并自动填入该发现,从而可在一次对话中完成分析、比较和部署变更。在您应用变更之前,不会部署任何内容,并且您可以随时关闭监控。

发现分为三类:

  • 流量变化后的延迟漂移。 当增加检索等变化导致提示词变长时,TTFT 会随之上升。该发现会量化延迟逐周恶化的程度,并建议根据近期流量重新运行推理建议,以找到可让 TTFT 恢复到较低水平的配置。
  • 自部署以来一直存在的配置缺口。 该端点从未针对其工作负载得到良好调优,这项发现会指出可弥补该缺口的变更。
  • GPU 容量闲置。 当容量连续数周未被使用时,该发现会提示您有机会合理调整端点规模并降低成本。

原地滚动模型更新(2026 年 11 月)

标准滚动更新每次替换端点的一个批次,并且每个批次都在新预置的实例上运行。对于大型 GPU 实例集群,这意味着每一步都要寻找新容量;如果无法获得下一批实例,更新可能会在中途失败。每个释放的实例还必须完成清理后才能再次使用,这会减慢发布速度。

SageMaker AI 现在支持原地更新模型。它会在开始时预置一小批额外实例,将流量转移到该批次,然后更新由此释放的实例,并复用这些实例将变更滚动应用到集群的其余部分。更新仍分阶段进行,但只需获取一次新容量。对于拥有 20 个实例且批次大小为 2 的集群,更新只需获取 2 个新实例,而不是 20 个。客户无需进行任何更改。与第 1 部分中的容器缓存一样,这项改进会自动应用于滚动模型更新。

Standard rolling update acquiring new instances at each step compared with an in-place update that reuses the fleet

图 6:滚动更新在每一步都会获取新实例。原地滚动更新会在开始时获取一个批次,并复用集群中的其余实例

对于支持团队而言,Drift Watch 的一项发现会量化 TTFT 的恶化程度,并基于近期流量启动新的推理建议任务。他们使用一个批次的额外实例滚动部署更新后的模型,而不必为集群中的每个实例寻找新的 GPU 容量。

摘要:13 项发布,承接第 1 部分

编号承接第 1 部分中的 13 项发布。

14. SageMaker AI Studio 中的推理建议(2026 年 7 月)。 一种引导式低代码工作流,可对配置进行排名和基准测试,并从 Studio 进行部署。

15. SageMaker Python SDK v3 中的推理建议(2026 年 8 月)。 可从笔记本或流水线进行基准测试、获取建议和部署,并支持并行及可恢复任务。

16. 推理建议中的 LoRA 适配器支持(2026 年 9 月)。 针对并发度对适配器数量进行基准测试,并将适配器部署为推理组件。

17. 基于 SLA 的并发度搜索(2026 年 9 月)。 找出满足 TTFT、延迟和错误率目标的最高并发度。

18. 优化生成式 AI 推理的智能体技能(2026 年 10 月)。 可通过兼容 MCP 的编码智能体进行实例选择、基准测试和运行结果比较。

19. SageMaker AI 控制台中的推理组件(2026 年 10 月)。 无需编写脚本,即可在多模型端点上创建、扩缩和监控各个模型。

20. 使用 NVIDIA MIG 进行 GPU 分区(2026 年 10 月)。 每个 GPU 最多可划分为七个相互隔离的分区,并按推理组件进行分配。

21. HyperPod Inference 上的托管式 NVIDIA Dynamo(2026 年 11 月)。 支持多节点和分离式服务,底层平台由 HyperPod 负责运营。

22. KV 缓存感知路由(2026 年 11 月)。 根据容器发出的缓存事件,将每个请求路由到持有最长缓存前缀的实例。

23. HyperPod 推理网关(2026 年 9 月)。 每个集群使用一个端点,支持 GPU 感知路由;与轮询路由相比,P99 TTFT 最多可降低 97%。

24. 跨区域推理路由器。 通过 PrivateLink 在区域内和跨账户端点之间进行路由,并设有流量溢出和数据驻留防护机制。

25. 持续性能监控。 检测延迟漂移、配置缺口和闲置容量,并在 SageMaker AI Studio 中提供引导式修复。

26. 原地滚动模型更新(2026 年 11 月)。 更新开始时一次性启动一批额外实例来滚动部署模型更新,随后在整个实例队列中重复使用现有实例。

到年底,支持团队基于同一个基础模型为四条产品线提供服务,在共享 GPU 上运行小模型,为单个实例无法容纳的推理模型提供服务,并在满足数据驻留控制要求的前提下跨两个区域路由流量。在此过程中,团队无需自行构建基准测试框架、故障转移逻辑或漂移监控系统。

第 1 部分指出,AI 推理的优势源于高效推理堆栈的运营。这 13 项新功能将这一观点落实到产品发布后的数月运营中。AWS 基于经验的加速计划可以通过对工作负载进行基准测试,并根据 SLA 和成本目标配置推理堆栈,帮助您的团队充分利用这些功能。

后续计划

对于托管端点,我们计划在 2027 年初扩展原地滚动更新功能,引入先缩容更新方式,从而在模型更新期间不再需要任何额外实例。

本文所述各项功能的文档和入门指南均收录在 Amazon SageMaker AI 开发人员指南中。请从与您当前问题相对应的章节开始。如果部署后流量发生了变化,请重新运行推理建议。如果置放槽位不足,请将小模型迁移到分区 GPU 上。如果您拥有的容量处于闲置状态,而请求却在排队,请注册集群和端点以启用跨区域路由。

参考资料


作者简介