人工智能

在 Amazon SageMaker HyperPod Inference 上托管 NVIDIA Dynamo

高效地服务大型语言模型(LLM)需要足够的 GPU 内存,并需要仔细协调提示处理与 token 生成。例如,GLM-5.3 的 FP8 权重超过了单台 ml.p5.48xlarge 实例的 640 GB GPU 内存,这还未计入 KV 缓存和运行时开销。当长提示与 token 生成共享同一批 GPU 时,长提示还可能拖慢 token 生成。

Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理相结合,以应对这些挑战。Dynamo 是一个开源分布式推理框架,支持多节点部署、prefill 与 decode 分离,以及配合 vLLM、SGLang 和 TensorRT-LLM 等引擎的 KV-aware 路由。HyperPod 通过高性能的 Elastic Fabric Adapter(EFA)网络、协调的 GPU 调度以及节点健康监控与恢复来支持这些部署。在本文中,我们通过一个部署示例演示多节点和分离式服务,分享基准测试结果,并概述在 HyperPod 上优化推理的最佳实践。

集成的工作原理

HyperPod Inference 附加组件会安装 Dynamo 自定义资源定义以及以下服务和调度组件:

  • HyperPod Inference Operator 通过 InferenceEndpointConfig(IEC)自定义资源管理端点部署。其 dynamoSpec 部分提供 Dynamo 配置。
  • Dynamo operator 管理由 DynamoGraphDeployment(DGD)定义的资源,包括前端、模型工作进程、副本数量和资源需求。
  • Grove 协调相关的 pod 组,包括多节点 worker,以及它们的扩缩容关系。
  • Kubernetes AI (KAI) Scheduler 将 pod 放置到 GPU 资源上,使用 gang scheduling 将多节点 worker 所需的 pod 一起调度。

AWS Deep Learning Containers (DLC) 提供 Dynamo 运行时,而附加组件负责管理集成的组件版本。要采用受支持的 Dynamo 版本,请更新附加组件。

部署架构

下图展示了 SageMaker HyperPod 上分离式推理的部署路径、服务组件和基础设施管理。Dynamo 前端将请求路由到 prefill worker(处理提示)和 decode worker(生成 token)。这两个独立的池允许独立扩缩容和调优。两个池都加载完整的模型权重,KV 缓存通过 EFA 在两者之间传输。

Dynamo 还支持聚合式服务,即 prefill 和 decode 在同一 worker 中运行。无论采用哪种拓扑,worker 都可以在一个实例上运行,也可以通过张量并行和流水线并行跨多个实例运行。Dynamo 的 KV 感知路由器 会同时考虑两种拓扑中的可复用前缀 KV 缓存和活跃 worker 负载。前缀复用可以减少提示重计算并改善首 token 时间,而负载感知有助于避免 worker 过载。有关 Dynamo 架构的更多详细信息,请参阅 Dynamo 知识库概述.

HyperPod 提供节点、GPU 和 EFA 健康监控,并管理节点替换,而编排组件则重建受影响的 worker。通过 InferenceEndpointConfig 配置的部署,支持 dynamoSpec 通过 SageMaker 端点进行调用。

Architecture diagram of NVIDIA Dynamo on SageMaker HyperPod with the frontend routing to prefill and decode workers over EFA

图 1:NVIDIA Dynamo 在 Amazon SageMaker HyperPod Inference 上的部署路径、服务组件和基础设施管理

两种配置部署的方式

无论您是初次接触 HyperPod、初次接触 Dynamo,还是两者都是初次接触,该附加组件都提供两种部署路径,以契合您的工作流程:

自带 DynamoGraphDeployment(DGD) 让现有 Dynamo 用户能够继续使用上游文档、配方和清单,并由 Dynamo operator 管理部署。要将现有 DGD 迁移到 HyperPod,请使用受支持的容器镜像,并为您的集群配置存储、网络和 Pod 放置。

带 dynamoSpec 的 InferenceEndpointConfig 让现有的 HyperPod Inference 用户能够使用他们已熟悉的相同配置格式和 OpenAI 兼容接口来部署新的 Dynamo 端点。对于推理引擎,您可以选择 vLLM、SGLang 或 TensorRT-LLM,默认使用 vLLM。该 operator 还为 KV 感知路由和副本数提供默认值。

两种路径均支持单实例和多节点部署。无论采用哪种方式,HyperPod 都会管理节点健康状态和节点替换。下表总结了各路径的职责。

自带 DGD 带 dynamoSpec 的 InferenceEndpointConfig
您编写 完整的 DGD 清单 包含 dynamoSpec 的 IEC
最适合 希望直接控制服务图或复用现有 DGD 的团队 希望通过 IEC 进行托管端点设置的团队
模型权重 您配置下载或挂载权重 该 operator 从 Amazon Simple Storage Service(Amazon S3)或 Amazon FSx 暂存权重
端点、TLS、注册 由 HyperPod Inference Operator 管理 由 HyperPod Inference Operator 管理
自动扩缩容 您配置和管理这些资源 Kubernetes 事件驱动自动扩缩容(KEDA)通过 autoScalingSpec ,适用于聚合式与分离式部署

部署示例:GLM-5.3

以下摘录使用 InferenceEndpointConfig(IEC)部署路径,并在实例上通过 vLLM 运行。 ml.p5.48xlarge 实例。Dynamo 专属设置应放在 spec.dynamoSpec模型来源和端点设置包含在完整清单中。

多节点聚合式服务

此配置跨两个实例(16 个 GPU)运行一个 model-worker 副本,并使用两个前端副本处理请求。设置 dynamoSpec.frontend.routingMode 即可开启 KV 感知路由。 kv-aware 开启 KV 感知路由。

spec:
  replicas: 1
  dynamoSpec:
    modelServer: vllm
    frontend:
      replicas: 2
      routingMode: kv-aware
    aggregation:
      nodesPerReplica: 2
      tensorParallelism: 16

在这里, spec.replicas 控制 model-worker 副本的数量,而 frontend.replicas 控制前端副本的数量。

多节点分离式服务

在 下使用以下 块,并保留前面的前端配置。副本数分别针对 prefill 和 decode 设置。此示例运行一个 prefill 副本和两个 decode 副本,每个副本跨两个实例,共六个实例。应用部署使用 应用完整清单。HyperPod Inference Operator 使配置的模型权重可供 worker 使用,并生成 DGD。Grove 和 KAI Scheduler 协调放置,使所需的 pod aggregation 下 spec.dynamoSpec 以下 disaggregation 块,并保留前面的前端配置。副本数分别针对 prefill 和 decode 设置。此示例运行一个 prefill 副本和两个 decode 副本,每个副本跨两个实例,共六个实例。

disaggregation:
  prefill:
    nodesPerReplica: 2
    tensorParallelism: 16
    replicas: 1
  decode:
    nodesPerReplica: 2
    tensorParallelism: 16
    replicas: 2

应用部署

使用以下内容应用完整清单: kubectl applyHyperPod Inference Operator 使配置的模型权重可供 worker 使用,并生成 DGD。Grove 和 KAI Scheduler 协调放置,使每个多节点 worker 所需的 pod 一起调度。

当 SageMaker 端点就绪并配置为支持聊天补全后,客户端可以通过 SageMaker Runtime API 发送与 OpenAI 兼容的请求负载:

aws sagemaker-runtime invoke-endpoint \
--endpoint-name glm53 \
--content-type application/json \
--body '{"model":"zai-org/GLM-5.3","messages":[{"role":"user","content":"Hello"}],"max_tokens":128}' \
--cli-binary-format raw-in-base64-out \
out.json

基准测试

我们在 SageMaker HyperPod 上对两个模型运行了 Dynamo 基准测试,以比较不同的服务配置。

Qwen3-235B 的分离式 prefill 与 decode

我们使用 AIPerf 以比较聚合式与分离式服务在 Qwen3-235B-A22B-FP8 在两组 p5en.48xlarge 实例(共 16 块 H200 GPU)上使用 Dynamo 搭配 TensorRT-LLM。请求包含 4,000 个输入 token 和 200 个输出 token。我们保留了满足两项指标的测量点:P90 首 token 时间低于一秒,以及每用户生成速度中位数至少为每秒 50 个 token。在这些测量点中,分离式服务的吞吐量达到最高聚合式吞吐量的 2.05 倍:在并发数分别为 80 和 32 时,每 GPU 每秒输出 token 数分别为 207 和 101。

Throughput comparison for Qwen3-235B: disaggregated serving at 207 versus aggregated at 101 output tokens per second per GPU

图 2:Qwen3-235B-A22B-FP8 的聚合式与分离式服务吞吐量对比

Qwen3.5-397B 的多节点聚合式服务

Dynamo 支持以聚合和分离两种模式为超出单个实例 GPU 内存的模型提供多节点服务。为评估跨节点 worker,我们使用 AIPerf 对 Qwen3.5-397B-A17B-FP8 的多节点聚合式服务进行基准测试,采用 Dynamo 和 vLLM,使用 TP4 × PP2 和八块活跃的 H200 GPU。该模型可容纳于单个实例,因此实际中不会对其进行拆分。此处它作为受控基线。我们比较了单台 p5en.48xlarge 上的八块 GPU 与两台实例上各四块 GPU 的情况,使用相同的模型、并行度和工作负载配置。在并发数为 32、具有高前缀复用特征的智能体工作负载下,双节点配置每 GPU 每秒输出 126.4 个 token,保留了单节点吞吐量的 99.1%。这表明 SageMaker HyperPod 上的 Dynamo 可以跨节点为需要多个实例的模型提供服务。 节点边界本身并不会成为显著的吞吐量瓶颈。

Throughput comparison for Qwen3.5-397B: two-node serving at 126.4 output tokens per second per GPU, 99.1% of single-node throughput

图 3:Qwen3.5-397B-A17B-FP8 多节点聚合式服务的单节点与双节点吞吐量对比

优化推理的最佳实践

NVIDIA Dynamo 提供配方和工具,帮助您选择服务配置、对性能进行基准测试,并在 SageMaker HyperPod 上调优您的部署。

  • 从匹配的配方开始—— 为您的模型、推理引擎和 GPU 类型选择匹配的 Dynamo 配方。 Dynamo 配方 为您的模型、推理引擎和 GPU 类型选择匹配的 Dynamo 配方。在确定 worker 规模时,请考虑模型权重、KV 缓存和运行时内存。对于受支持的配置, AISimulate 可帮助比较聚合式与分离式服务,选择并行策略,并在 GPU 上测试之前确定 prefill 和 decode worker 池的规模。
  • 在基准测试前验证通信—— 对于跨实例的部署,请确认通信使用的是预期的 EFA 传输方式,包括 prefill 与 decode worker 之间的 KV 缓存传输。请参阅 Dynamo EFA 指南.
  • 基准代表性流量 – 使用以下方式重放您的流量: AIPerf,或使用 生成的智能体追踪 使用具有代表性的提示长度、输出长度和前缀复用情况。针对每种配置遍历并发数,保留满足您 SLA 的配置点,并根据成本和延迟优先级进行选择。
  • 根据实测瓶颈进行调优—— 在调整引擎设置之前,先调整拓扑和 worker 分配,每次只改变一个变量。请遵循 性能调优指南,或使用 Dynamo 优化代理技能 以协助进行基准测试和调优。请在您的目标 HyperPod 部署上验证每个候选方案。

结论

SageMaker HyperPod Inference 上的 NVIDIA Dynamo 简化了大型模型的部署与运维,支持多节点服务、分离式 prefill 与 decode,以及 KV-aware 路由。该托管附加组件会安装服务组件,配置默认值可简化端点设置。HyperPod 负责管理模型权重、根据 GPU 和推理指标自动扩缩集群、监控节点健康状况并替换故障节点。这些能力共同减少了非差异化的基础设施工作,使团队能够专注于其模型和应用。请参阅链接仓库中的设置说明和完整部署示例以开始使用。

致谢

作者感谢来自 NVIDIA 的 Eliuth Triana、Felipe Garcia、Sanjana Checker、Junyuan Yang、Jiahong Liu、Anish Maddipoti、Jacob Kern 和 Abdullahi Olaoye 对本博文的贡献。我们也感谢来自 AWS 的 Can Sun、Ophelia Yang、Aryaman Kothari、David Oh 和 Ayush Kumar 的贡献。


关于作者