AI 热点

热点事件 持续更新

AWS为SageMaker HyperPod Inference增加托管NVIDIA Dynamo支持

2 篇正式报道2 条事件动态更新于 11月18日 07:51

先了解这件事

AI 综述

2026年11月17日,Amazon Web Services宣布Amazon SageMaker HyperPod Inference支持托管NVIDIA Dynamo,将Dynamo的分布式推理能力与HyperPod的基础设施管理结合。AWS Machine Learning说明,该支持涵盖多节点部署、prefill/decode分离和KV-aware路由;以GLM-5.3为例,其FP8权重超过单台ml.p5.48xlarge的640 GB GPU显存,需跨节点部署。部署可选自带DGD或InferenceEndpointConfig的dynamoSpec,推理引擎支持vLLM、SGLang和TensorRT-LLM,默认vLLM。Unite.AI同日报道称,在Qwen3-235B-A22B-FP8测试中,分离式部署在并发80下达到每GPU 207输出token/秒,高于聚合式在并发32下的101。目前该支持已随公告进入可用状态。

AI 根据公开报道生成

最新进展 · 正式报道

AWS 在 SageMaker HyperPod Inference 中托管 NVIDIA Dynamo

事件进展

1 个已确认进展

  1. AWS为SageMaker HyperPod Inference增加托管NVIDIA Dynamo支持

    来源:AWS Machine Learning

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月18日

  1. Unite.AI

    AWS 在 SageMaker HyperPod Inference 中托管 NVIDIA Dynamo

    AWS 于 2026 年 11 月 17 日宣布 SageMaker HyperPod Inference 支持 NVIDIA Dynamo,用于托管多节点与分离式模型服务。在 Qwen3-235B-A22B-FP8 测试中,分离式部署在并发 80 下达到每 GPU 207 输出 token/秒,高于聚合式在并发 32 下的 101。HyperPod 提供 EFA 网络、GPU 调度、健康监控与节点替换,用户可通过 InferenceEndpointConfig 的 dynamoSpec 走托管路径。

  2. AWS Machine Learning一手

    Amazon SageMaker HyperPod Inference 托管 NVIDIA Dynamo

    Amazon SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合,支持多节点部署、prefill/decode 分离和 KV-aware 路由。以 GLM-5.3 为例,其 FP8 权重超过单台 ml.p5.48xlarge 的 640 GB GPU 显存,需跨节点部署;部署可选自带 DGD 或 InferenceEndpointConfig 的 dynamoSpec,推理引擎支持 vLLM、SGLang 和 TensorRT-LLM,默认 vLLM。

关联事件

  1. 相关事件Google在Antigravity上线Gemini 4 Hydrogen
  2. 相关事件NVIDIA在GTC柏林展示本地AI硬件全线产品
  3. 相关事件SGLang原生支持并驱动Beam生产API
  4. 相关事件Meta发布开放权重模型Muse Spark Open