SageMaker Inference支持NVIDIA MIG GPU分区

11月7日

1. 02:23

   Unite.AI

   AWS 为 SageMaker 推理端点加入 NVIDIA GPU 分区支持

   AWS 于 2026 年 11 月 6 日宣布 Amazon SageMaker Inference 支持 NVIDIA Multi-Instance GPU，让多个硬件隔离的模型共享同一块加速卡，而不再为每个部署分配整块 GPU。该功能仅适用于使用推理组件的实时端点，单模型端点、无服务器端点和异构实例池无法分区，异步负载也不在支持范围内。AWS 用 Llama-3.1-8B-Instruct 对比 mig-3g.40gb 的 H100 分区与整块 A100-40GB，报告在成本收益最大的负载下输出 token 吞吐高 53% 至 89%，每百万输出 token 成本低 18% 至 34%，但低于特定并发阈值时整块 A100 仍更便宜。

   展开摘要
2. 02:01

   AWS Machine Learning一手

   SageMaker Inference 支持 NVIDIA MIG，将单块 GPU 切分给多个模型端点

   Amazon SageMaker Inference 现已支持基于 NVIDIA Multi-Instance GPU（MIG）的 GPU 分区，可将一块物理 GPU 拆成最多 7 个硬件隔离分区，每个分区拥有独立的计算单元和显存，从而在单个实例上部署超过 GPU 数量的模型。该能力仅适用于使用 inference components 的端点，单模型端点、serverless 端点和异构实例池不支持；分区布局需在创建端点时选定。Salesforce 参与了需求定义与初步验证，称 MIG 有助于整合推理负载、提升 GPU 利用率并降低推理成本。

   展开摘要