AI 热点

AWS 在 SageMaker HyperPod Inference 中托管 NVIDIA Dynamo

Unite.AI更新于 11月18日 08:29

AWS Adds Managed NVIDIA Dynamo to SageMaker HyperPod Inference

AI 导读

AWS 于 2026 年 11 月 17 日宣布 SageMaker HyperPod Inference 支持 NVIDIA Dynamo,用于托管多节点与分离式模型服务。在 Qwen3-235B-A22B-FP8 测试中,分离式部署在并发 80 下达到每 GPU 207 输出 token/秒,高于聚合式在并发 32 下的 101。HyperPod 提供 EFA 网络、GPU 调度、健康监控与节点替换,用户可通过 InferenceEndpointConfig 的 dynamoSpec 走托管路径。

推荐理由

AI 评分 57

原文给出托管配置路径与延迟约束下的对比数据,可帮助判断多节点推理的部署取舍。

主题

标签

正文 · AI 翻译

Amazon Web Services 于 2026 年 11 月 17 日宣布,Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,用于托管式多节点与分离式模型服务,同时公布了基准测试结果:在 AWS 的延迟目标下,每 GPU 的最高合格聚合输出 token 吞吐量达到 2.05 倍。

这一新增功能解决了大语言模型服务中的两个制约因素:将模型权重和可复用的键值(KV)缓存装入 GPU 内存,以及避免长提示词处理在两者共享 GPU 时拖慢 token 生成。AWS 以 GLM-5.3 为例说明内存压力:仅其 8 位浮点(FP8)权重就超过了单台 ml.p5.48xlarge 实例上 640 GB 的 GPU 内存,这还未计入 KV 缓存和运行时开销。

HyperPod 提供围绕该框架的托管基础设施:弹性网络适配器(EFA)网络、协调的 GPU 调度、对节点、GPU 和 EFA 的健康监控,以及节点替换。HyperPod 负责管理替换过程,同时由编排组件重建受影响的 worker。

Dynamo 是一个开源分布式推理框架,可与 vLLM、SGLang 和 TensorRT-LLM 配合使用。其分离式拓扑使用前端将请求路由到处理提示词的 prefill worker 和生成 token 的 decode worker。这些池可以独立扩展和调优,但两者都会加载完整的模型权重;KV 缓存通过 EFA 在它们之间传输。

聚合式服务在同一 worker 中运行两个阶段。无论采用哪种拓扑,worker 都可以运行在单个实例上,或使用张量并行和流水线并行跨多个实例分布模型。Dynamo 的 KV 感知路由器会考虑可复用的前缀缓存和活跃 worker 负载。AWS 表示,前缀复用可以减少提示词重算并改善首 token 时间,而负载感知有助于避免单个 worker 过载。

带延迟约束的基准测试

Qwen3-235B-A22B-FP8 对比测试在两台 p5en.48xlarge 实例上使用 Dynamo 和 TensorRT-LLM,共计 16 块 H200 GPU。AIPerf 生成的请求包含 4,000 个输入 token 和 200 个输出 token。AWS 仅保留第 90 百分位首 token 时间低于一秒、且每用户生成速度中位数至少为每秒 50 个 token 的测量点。

AWS 报告称,分离式服务在并发 80 时达到每 GPU 每秒 207 个输出 token,而聚合式最高合格结果在并发 32 时为 101。因此,该对比针对的是不同并发水平下受延迟约束的吞吐量,而非任一拓扑不受限制的吞吐量最大值。

另一项 Qwen3.5-397B-A17B-FP8 测试使用 Dynamo 和 vLLM,比较了单台 p5en.48xlarge 实例上的八块 H200 GPU 与两台实例各四块 GPU 的情况,模型、并行度和工作负载配置保持一致。AWS 报告称,在高前缀复用、并发 32 时,双节点配置达到每 GPU 每秒 126.4 个输出 token,即单节点吞吐量的 99.1%。该模型可容纳于单台实例,实践中通常不会拆分,因此该测试作为跨节点边界对吞吐量影响的受控基线。

托管配置与资源规划

用户有两条配置路径。现有 Dynamo 用户可以自带描述服务图的 DynamoGraphDeployment 清单,并自行管理存储、网络、Pod 放置、端点、TLS、注册和自动扩缩。InferenceEndpointConfig 路径使用 dynamoSpec 进行托管端点设置,并使用 Kubernetes 事件驱动自动扩缩(KEDA)支持任一服务拓扑。它默认使用 vLLM,为 KV 感知路由和副本数提供默认值,并通过 SageMaker 端点支持 OpenAI 兼容接口。

该附加组件安装 Dynamo 的自定义资源定义以及服务和调度组件,而 AWS Deep Learning Containers 提供运行时。在托管路径上,HyperPod Inference Operator 从 Amazon S3 或 FSx 暂存权重并生成 DynamoGraphDeployment。Grove 协调相关的 Pod 组,而 KAI Scheduler 使用成组调度,使每个多节点 worker 的 Pod 被放置在一起。采用受支持的 Dynamo 版本需要更新该附加组件。

AWS 的 GLM-5.3 示例具体说明了 GPU 分配选择。其聚合式配置在两台 ml.p5.48xlarge 实例上运行一个模型 worker 副本,采用 16 路张量并行和两个前端副本。分离式变体配置一个 prefill 副本和两个 decode 副本,每个副本跨两台实例,共六台实例。不同的副本数表明,部署可以为提示词处理和 token 生成分配不同数量的容量,而不是扩展单个合并池。

AWS 建议在基准测试前验证 EFA 通信,测试具有代表性的提示词长度、输出长度和前缀复用情况,针对服务级别目标扫描并发度,并在更改引擎设置之前根据实测瓶颈调整拓扑和 worker 分配。

HyperPod 现在承担了更多协调和恢复工作,但基准测试条件和部署示例表明,托管运维并不能消除服务权衡。有用的配置仍取决于实测的提示词和生成行为、worker 池之间的 GPU 分配,以及工作负载的延迟和成本优先级。

来源

Unite.AI