先了解这件事
2026年9月21日,NVIDIA 在 Dynamo-Triton 26.07 中启用 TensorRT 后端的多设备推理能力,一个 KIND_MODEL 实例可占用多块 GPU,并通过单个 gRPC 端点对外提供分布式推理服务;TensorRT 11.0 起完整支持该能力。官方以 Cosmos 3 Nano 视频生成为例说明,Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU,端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒,transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验。该基准未测量并发吞吐、单视频成本或 TCO。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
NVIDIA Dynamo-Triton 26.07 集成 TensorRT 多设备推理事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月22日
NVIDIA Developer · Generative AI一手
NVIDIA Dynamo-Triton 26.07 集成 TensorRT 多设备推理
NVIDIA Dynamo-Triton 26.07 启用 TensorRT 后端的多设备推理能力，一个 KIND_MODEL 实例可占用多块 GPU 并通过单个 gRPC 端点对外提供分布式推理服务，TensorRT 11.0 起完整支持该能力。以 Cosmos 3 Nano 视频生成为例，Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU，端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒，transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验，但该基准未测量并发吞吐、单视频成本或 TCO。