AWS 为 SageMaker 推理端点加入 NVIDIA GPU 分区支持

Amazon Web Services（AWS）于2026年11月6日宣布，Amazon SageMaker Inference 支持 NVIDIA Multi-Instance GPU，允许多个硬件隔离的模型在实时端点上共享同一块加速卡，而不再为每个部署分配整块 GPU。

该功能解决了整块 GPU 分配的两项限制。加速卡数量限制了单个实例可承载的模型数量，无论每个模型实际使用的内存或计算资源有多少；而考虑采用更新 GPU 的客户必须分配整块设备。Multi-Instance GPU（MIG）则为每个分区分配固定份额的计算单元和专用内存块，并通过硬件强制隔离。由于每个模型始终保持驻留，这种安排还避免了多模型端点在首次使用时将模型加载到共享设备上所产生的延迟。

分区仅限使用推理组件的实时端点，推理组件是 SageMaker 用于将多个模型部署到单个端点并设定各自所获计算资源的结构。单模型端点、无服务器端点和异构实例池无法分区。异步工作负载也不在该功能范围内，因为异步调用无法寻址推理组件。

Salesforce 协助定义了需求并验证了初始实现。Salesforce 软件工程架构师 Richard Chang 表示，公司期望 MIG 能够安全地整合工作负载、提高 GPU 利用率并降低推理成本，同时保持可预测的性能和隔离性。Salesforce 正准备用具有代表性的生产工作负载验证该软件，因此这些收益目前仍是预期，而非已报告的生产结果。

两个 API 字段控制分区

SageMaker AI 开发者文档定义了两个可选字段：AcceleratorPartitionLayouts 在生产变体上声明分区划分，AcceleratorPartitionType 选择推理组件所使用的配置文件。没有新的 API 操作、资源类型或 AWS Identity and Access Management 操作，省略这两个字段即可保留现有端点行为。

所选布局统一应用于该变体中每个实例上的每块加速卡。AWS 的示例将 ml.p4d.24xlarge 上的八块 A100 各自划分为 mig-4g.20gb、mig-2g.10gb 和 mig-1g.5gb 分区，在整个端点上共产生 24 个分区。每个推理组件副本占用一个所请求的分区，而 InvokeEndpoint 仍按组件名称寻址模型，无需分区标识符。AWS 表示，在其测试中，划分加速卡使预置时间增加了约 17 秒。

隔离覆盖 GPU 计算和内存，而非整个主机。同一实例上的模型仍共享主机 CPU、主机内存、存储、网络和端点路由。请求的配置文件不在布局中的组件会被拒绝，而不会被分配整块 GPU。更改运行中端点的布局需要新建端点并迁移流量；将组件迁移到其他配置文件需要新建组件。

AWS 在生产 SageMaker 实时端点上使用 Llama-3.1-8B-Instruct，对比了一个 mig-3g.40gb H100 分区与一整块 A100-40GB。双方均使用一个模型副本、相同的容器、分词器和客户端配置，由 genai-bench 在 2 至 512 的并发级别下驱动五种流量形态。NVIDIA 的配置文件指南为所测试的 H100 配置文件分配了七份流式多处理器份额中的三份和八个内存单元中的四个。两种配置的内存容量相当，但计算资源分配不同。

AWS 报告称，在整个测试中，在每个场景成本收益最大的负载下，H100 分区的每秒输出 token 数高出 53% 至 89%。token 间延迟降低 8.9% 至 42.1%，首 token 时间降低 5.6% 至 47.5%。在 6,000 token 和 8,000 token 工作负载的最高并发下，A100 有三分之一到一半的请求未能在服务期限内完成，而该分区没有出现任何失败。

AWS 的成本分析以逐案例比较而非普遍结论的形式呈现，发现一旦流量超过特定于工作负载的盈亏平衡点，每百万输出 token 的成本降低 18% 至 34%。该平衡点在 100 token 提示词下出现在并发 64 时，在 8,000 token 提示词下出现在并发 4 时。低于该点时，整块 A100 仍然更便宜，因此短输入或低并发工作负载可能更适合较旧的整块 GPU。单位成本比较是将按需实例价格除以每个实例上所测试单元的数量得出的。

支持的硬件与运行限制

此次发布涵盖四个实例系列，分区数量和配置文件由加速卡决定：

实例系列 加速卡 GPU 内存 每块 GPU 的最大分区数

P4d NVIDIA A100 40 GB 7

P5 NVIDIA H100 80 GB 7

GPU 分区功能已在美国东部（弗吉尼亚北部）、美国东部（俄亥俄）、美国西部（俄勒冈）、亚太地区（新加坡）、亚太地区（东京）、欧洲（法兰克福）和欧洲（爱尔兰）推出，具体可用性取决于各区域的实例供应情况和端点配额。任何分区都不会跨加速卡，因此需要完整 GPU 或多块 GPU 的模型仍需使用整块设备。

客户仍需为完整的 GPU 实例付费；分区可以提高可用容量，但不会降低其每小时价格。分区端点及其推理组件也不会向 CloudWatch 发布 GPU、CPU 或内存利用率指标，不过调用和延迟指标仍然可用。在 P4d 上，mig-1g.10gb 配置文件需要 NVIDIA R525 或更新版本的驱动程序，AWS 建议客户使用更新的推理 AMI，因为默认镜像不提供该驱动。

在容量规划方面，此次发布将每块受支持的加速卡划分为多个固定的 GPU 规格，但更密集的硬件隔离部署伴随着整实例计费、无法就地更改的布局以及减少的利用率遥测数据。AWS 的基准测试表明衡量实际流量的价值：在这些测试中，H100 分区在更重的长上下文条件下带来了性能和成本优势，而盈亏平衡结果则显示，对于较轻的工作负载，整块 A100 仍然更便宜。