先了解这件事
2026年11月17日,Amazon Web Services宣布Amazon SageMaker HyperPod Inference支持托管NVIDIA Dynamo,将Dynamo的分布式推理能力与HyperPod的基础设施管理结合。AWS Machine Learning说明,该支持涵盖多节点部署、prefill/decode分离和KV-aware路由;以GLM-5.3为例,其FP8权重超过单台ml.p5.48xlarge的640 GB GPU显存,需跨节点部署。部署可选自带DGD或InferenceEndpointConfig的dynamoSpec,推理引擎支持vLLM、SGLang和TensorRT-LLM,默认vLLM。Unite.AI同日报道称,在Qwen3-235B-A22B-FP8测试中,分离式部署在并发80下达到每GPU 207输出token/秒,高于聚合式在并发32下的101。目前该支持已随公告进入可用状态。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月18日
Unite.AI
AWS 在 SageMaker HyperPod Inference 中托管 NVIDIA Dynamo
AWS 于 2026 年 11 月 17 日宣布 SageMaker HyperPod Inference 支持 NVIDIA Dynamo,用于托管多节点与分离式模型服务。在 Qwen3-235B-A22B-FP8 测试中,分离式部署在并发 80 下达到每 GPU 207 输出 token/秒,高于聚合式在并发 32 下的 101。HyperPod 提供 EFA 网络、GPU 调度、健康监控与节点替换,用户可通过 InferenceEndpointConfig 的 dynamoSpec 走托管路径。
AWS Machine Learning一手
Amazon SageMaker HyperPod Inference 托管 NVIDIA Dynamo
Amazon SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合,支持多节点部署、prefill/decode 分离和 KV-aware 路由。以 GLM-5.3 为例,其 FP8 权重超过单台 ml.p5.48xlarge 的 640 GB GPU 显存,需跨节点部署;部署可选自带 DGD 或 InferenceEndpointConfig 的 dynamoSpec,推理引擎支持 vLLM、SGLang 和 TensorRT-LLM,默认 vLLM。
AI 热点