数据中心 / 云 NVIDIA Vera Rubin NVL72 在 MLPerf Endpoints v1.0 上引领智能体推理性能 Two rows of black data center racks with gold-colored server components against a black background. 2026年11月16日 作者: Zhihan Jiang 和 Lisa Luh 讨论 (0)

AI 生成摘要

  • 暂定的 MLPerf Endpoints v1.0 结果显示,在每用户每秒 50 tokens 的共享最低端到端交互性下,NVIDIA Vera Rubin NVL72 每千瓦吞吐量超过 NVIDIA GB300 NVL72 的 10 倍。
  • 在 Kimi K3、DeepSeek-V4.1-Flash 和 Qwen3.6-35B-A3B 模型上,与 GB300 NVL72 相比,Vera Rubin NVL72 在相同并发下实现 5 到 10 倍的每千瓦吞吐量以及 3 到 5 倍的端到端交互性。
  • NVIDIA Rubin GPU 结合 HBM4 内存、Tensor Core 和第六代 NVLink,以支持智能体推理需求。
  • 上下文感知服务技术(包括前缀缓存、状态复用和 NVIDIA Dynamo 路由)可减少冗余计算,并在智能体工作负载之间平衡服务负载。
  • 针对特定模型的 GPU 执行优化(例如 DeepSeek 的 MegaMoE 内核以及 Qwen 结合 Tensor Core 验证的多 token 预测)可减少数据移动和顺序解码步骤。

后续步骤

由 NVIDIA Nemotron 提供支持。AI 生成内容可能不完整地概括信息。请核实重要信息。 了解更多

智能体工作负载对推理系统提出了更高要求。AI 智能体在多轮对话中携带不断增长的对话历史,并生成推理、工具调用和响应的混合内容。推理系统必须在大规模支持用户的同时保持响应能力。

MLPerf Endpoints v1.0 通过 API 端点使用编码和企业工作流,评估服务容量与响应能力之间的这种平衡。在性能运行期间,生成的工具调用和工作流意图会与参考值进行核对。单独的 SWE-bench Verified 评估则考察端到端任务解决能力。这些检查用于评估更快的服务是否保持了模型质量。

在 MLPerf Endpoints v1.0 中,暂定的 NVIDIA Vera Rubin NVL72 结果显示,在每用户每秒 50 tokens 的共享最低端到端交互性下,其每千瓦配置功耗的吞吐量超过 NVIDIA GB300 NVL72 的 10 倍。1

本文介绍基准测试结果,并概述提交中所使用的硬件和软件优化。

1MLPerf® Endpoints v1.0,Kimi K3,标准化部门,可用类别,发布于 2026 年 11 月 9 日。NVIDIA Vera Rubin NVL72,32 个加速器,结果 1.0.1.kimi-k3.agentic_combined.1p,运行 9:并发 = 1,024 个查询,TTFT P90 = 4,673.9 ms,系统 TPS = 41,414.2 tokens/秒,E2E 平均交互性 = 每用户 50.4 tokens/秒,运行功率 = 100.89 kW。NVIDIA GB300 NVL72,48 个加速器,结果 1.0.0.kimi-k3.agentic_combined.1,运行 6:并发 = 48 个查询,TTFT P90 = 2,305.1 ms,系统 TPS = 2,210.4 tokens/秒,E2E 平均交互性 = 每用户 56.2 tokens/秒,运行功率 = 60 kW。比较基于每用户每秒 50 tokens 的共享最低 E2E 平均交互性下的每千瓦吞吐量。检索自 endpoints.mlcommons.org ,2026 年 11 月 9 日。GB300 结果已由 MLCommons Association 验证。对于暂定的 Vera Rubin 结果:尚待 MLCommons Association 验证,结果可能会在同行评审后发生变化。MLPerf 名称和徽标是 MLCommons Association 在美国和其他国家的注册商标和非注册商标。保留所有权利。严禁未经授权使用。更多信息请参见 www.mlcommons.org 。

多轮智能体 AI 的服务需求

MLPerf Endpoints v1.0 数据集体现了这些工作负载特征:编码轨迹在多轮中累积历史,而企业工作流则复用共享指令、工具定义和业务规则。图 1 展示了在长时间智能体会话中,上下文长度如何随模型响应而增长。

Line chart of context growth across 230 coding and workflow trajectories with more than 10 model responses. Median context length rises from about 30,000 tokens at the first response to about 200,000 tokens by response 300. Shading shows the 25th–75th percentile range; a dashed line shows the mean. A secondary axis shows that progressively fewer trajectories reach later responses.
图 1. 在 MLPerf 智能体数据集中,上下文长度随模型响应而增长

Vera Rubin 每千瓦智能体吞吐量超过 10 倍

提交涵盖 Kimi K3、Qwen3.6-35B-A3B 和 DeepSeek-V4.1-Flash。表 1 比较了暂定的 Vera Rubin NVL72 结果与已验证的 NVIDIA GB300 NVL72 结果,比较指标为在共享最低端到端(E2E)交互性阈值下的每千瓦配置功耗吞吐量,以及在相同查询并发下的 E2E 交互性。

模型每千瓦配置功耗吞吐量比值E2E 交互性比值
Kimi K310x3x
DeepSeek-V4.1-Flash9x5x
Qwen3.6-35B-A3B5x3x
表 1. Vera Rubin NVL72 与 GB300 NVL72 相比的每千瓦吞吐量和 E2E 交互性比值²

² MLPerf® Endpoints v1.0,Kimi K3、DeepSeek-V4.1-Flash 和 Qwen3.6-35B-A3B,标准化部门,可用类别。GB300 结果发布于 2026 年 11 月 4 日;Vera Rubin 结果中,Kimi K3 和 Qwen 发布于 2026 年 11 月 9 日,DeepSeek 发布于 2026 年 11 月 10 日。检索自 endpoints.mlcommons.org ,2026 年 11 月 10 日。比较选取各平台在满足所述最低 E2E 平均交互性时的最佳 TPS/kW,或在所述相同并发下的最佳 E2E 平均交互性。记录列表:结果 ID;运行编号;并发(查询数);TTFT P90(ms);系统 TPS(tokens/秒);E2E 平均交互性(每用户 tokens/秒);工作点功率(kW)。

Kimi K3: 吞吐量/kW:见脚注 1。相同并发 1,024 个查询下的交互性:Vera Rubin(1.0.1.kimi-k3.agentic_combined.1p;9;1,024;4,673.9;41,414.2;50.4;100.89);GB300(1.0.0.kimi-k3.agentic_combined.1;16;1,024;15,223.0;13,905.8;16.8;60)。
DeepSeek-V4.1-Flash: 在最低端到端平均交互性为每用户 280 tokens/秒时的每千瓦吞吐量:Vera Rubin(1.0.1.deepseek-v4_1-flash.mlperf_agentic_inference_dataset.1p;6;1,408;427;272,711.7;294.49;75.67),24 块 GPU;GB300(1.0.0.deepseek-v4_1-flash.mlperf_agentic_inference_dataset.1;1;16;112.8;3,054.0;288.65;7.50),4 块 GPU。在相同并发 1,024 个查询下的交互性:Vera Rubin(1.0.1.deepseek-v4_1-flash.mlperf_agentic_inference_dataset.1p;5;1,024;505;204,207.7;307.36;63.06),20 块 GPU;GB300(1.0.0.deepseek-v4_1-flash.mlperf_agentic_inference_dataset.1;8;1,024;4,073.5;49,701.8;56.65;7.50),4 块 GPU。
Qwen3.6-35B-A3B: 在最低端到端平均交互性为每用户 410 tokens/秒时的每千瓦吞吐量:Vera Rubin(1.0.1.qwen3_6-35b-a3b.agentic_coding.1p;8;320;75.2;47,785.5;411.9;12.61);GB300(1.0.0.qwen3_6-35b-a3b.agentic_coding.1;2;36;65.3;5,960.4;531.6;7.50)。在相同并发 256 个查询下的交互性:Vera Rubin(1.0.1.qwen3_6-35b-a3b.agentic_coding.1p;7;256;65.9;41,142.6;501.0;12.61);GB300(1.0.0.qwen3_6-35b-a3b.agentic_coding.1;7;256;111.7;23,467.8;154.5;7.50)。

比值按所示进行四舍五入。GB300 结果已由 MLCommons Association 验证。Vera Rubin 的结果为暂定结果。在 MLCommons Association 验证完成之前,结果可能会在同行评审后发生变化。MLPerf 名称和徽标是 MLCommons Association 在美国和其他国家/地区的注册商标和非注册商标。保留所有权利。严禁未经授权使用。请参阅 www.mlcommons.org 了解更多信息。

图 2 展示了每条曲线在至少七个并发级别下,每配置千瓦吞吐量与端到端交互性之间的权衡关系。曲线显示了每个系统在给定响应性要求下所能提供的吞吐量。该阶梯函数图不在测量点之间进行插值,以使比较基于已展示的性能而非估算值。

Chart comparing Kimi K3 throughput per provisioned kilowatt against end-to-end interactivity in MLPerf Endpoints v1.0. NVIDIA Vera Rubin NVL72 delivers over 10x the throughput per kilowatt of GB300 NVL72 at a shared minimum interactivity of 50 tokens per second per user.
图 2. NVIDIA Vera Rubin NVL72 与 GB300 NVL72 在 MLPerf Endpoints v1.0 中运行 Kimi K3 时每配置千瓦吞吐量与端到端交互性的关系

更高的每千瓦吞吐量使组织能够在相同的功耗预算内同时运行更多智能体,同时满足相同的响应性要求。在低并发下,更快的响应可减少对延迟敏感的智能体任务的推理等待时间。

面向智能体推理的硬件与软件优化

NVIDIA Rubin GPU 结合 HBM4 内存、 NVIDIA Tensor Core以及第六代 NVIDIA NVLink,以满足智能体推理的需求。HBM4 支持对模型权重和对话状态的快速访问,Tensor Core 加速矩阵运算,NVLink 支持 GPU 之间的通信。上下文感知服务与模型专用内核基于这些能力复用先前的工作、独立优化预填充和解码,并加速 token 生成——将硬件进步转化为更大的推理容量和更快的交互。

上下文感知服务与模型专用优化提升推理性能

智能体工作负载会反复复用对话历史,同时添加新指令和工具结果。高效的服务必须保留可复用状态、将请求分配到各工作节点,并适应提示处理和 token 生成的不同执行需求。前缀缓存、状态复用和 NVIDIA Dynamo 路由有助于减少冗余计算并平衡服务负载,而分离式服务支持对预填充和解码进行独立优化。

图 3 总结了上下文感知服务与模型专用 GPU 执行如何支持智能体推理。

Diagram showing user requests flowing through an API endpoint to NVIDIA Dynamo context-aware routing, which supports conversation-state reuse and balances worker load. Separate prefill and decode workers process prompts and generate tokens, with context state transferred between them. Model-specific kernels, fusion, and optimized memory access accelerate both stages, while multi-token proposals and verification support faster generation.
图 3. 面向智能体推理的上下文感知服务与优化 GPU 执行

Kimi K3、DeepSeek-V4.1-Flash 和 Qwen3.6-35B-A3B 也具有各自独特的架构,能够从针对性的 GPU 执行优化中获益。模型专用内核、融合、优化内存访问和推测性验证可减少数据移动和执行开销。表 2 总结了这些服务与执行技术如何在三个模型上协同工作。

优化如何提升性能
上下文复用与路由复用先前处理过的对话状态并分发请求,以减少重复计算并平衡工作节点负载。
示例: Qwen 的细粒度前缀匹配可跨轮次复用先前已处理的对话历史。
预填充与解码优化通过分离式服务独立配置提示处理和 token 生成,减少资源争用和同步等待。
示例: Kimi 将分离式服务与预填充改动相结合,减少 GPU 同步等待。
模型专用 GPU 执行针对每种架构定制内核、融合和内存访问,减少内核启动和数据移动。
示例: DeepSeek 的 MegaMoE 内核利用 Rubin GPU 的局部性和矩阵乘法指令。
推测性生成与验证提出多个 token 并一起验证,减少顺序解码步骤。
示例: Qwen 的多 token 预测将 token 提议与 Tensor Core 验证配对。
表 2. 软件优化提升上下文复用、服务效率和 GPU 执行

为智能体 AI 提供更高效的基础设施

智能体推理性能取决于硬件、系统架构和服务软件之间的协同设计。MLPerf Endpoints v1.0 的暂定结果显示,Vera Rubin 平台如何将这些能力整合在一起,以满足智能体工作负载的需求,并创造更多容量来服务用户和扩展应用。

在配套的 博文中进一步了解 NVIDIA 训练与推理性能.

致谢

Richard Cai、Viraat Chandra、Xiaoming Chen、Zhenhuan Chen、Alice Cheng、Julien Darve、Ashutosh Dhar、Kefeng Duan、Alec Flowers、Ann Guan、Jie Hao、Rashid Kaleem、Tzu-Ling Kan、Tuhin Khare、Zihao Kong、Jonas Li、Shicheng Li、Yijing Li、Allison Lim、Yanchao Lu、Bofeng Luo、Mingyuan Ma、Matthias Maiterth、Yibai Meng、Stanley Cheong Kwan Phoong、Hanjie Qiu、Zhongdao Ren、Tong Tong、Harshil Vagadia、Lisa Wang、Shang Wang、Xinyu Wang、Fernando Xiong、Yingying Xue、Yuanjing Xue、Lizhi Zhou 和 Yaoyang Zhou

讨论(0)

标签

智能体 AI / 生成式 AI | 数据中心 / 云 | 硬件 / 半导体 | Blackwell | Dynamo | TensorRT-LLM | 中级技术 | 基准测试 | Blackwell Ultra | GB300 | Groq 3 LPX | InfiniBand | MLPerf | Vera Rubin NVL72

关于作者

Avatar photo 关于 Zhihan Jiang
Zhihan Jiang 是 NVIDIA TensorRT 团队的工程经理,专注于在 MLPerf Inference 中交付世界一流的生成式 AI 推理结果。在从事 MLPerf 相关工作之前,他曾负责 TensorRT 自主安全库与基础设施,以及 NVIDIA CPU 架构建模。Zhihan 拥有斯坦福大学电气工程硕士学位和佐治亚理工学院计算机工程学士学位。 查看 Zhihan Jiang 的所有文章 Lisa Luh 关于 Lisa Luh
Lisa Luh 是 NVIDIA 的高级技术产品营销经理,专注于 AI 推理。此前,她曾在 C3 AI 和 IBM 担任产品营销和业务开发职务。她拥有宾夕法尼亚大学沃顿商学院工商管理硕士学位,以及加州大学伯克利分校哈斯商学院工商管理理学学士学位。 查看 Lisa Luh 的所有文章

评论