AI News

NVIDIA Vera Rubin 首次亮相 MLPerf,横扫训练基准并公布 Endpoints 成绩

NVIDIA:Newsroom更新于 11月17日 01:05

NVIDIA Sweeps MLPerf Training and Endpoints as Vera Rubin Debuts With Leading Performance | NVIDIA Blog

AI 导读

NVIDIA Vera Rubin 平台在首次 MLPerf 基准测试中拿下 Training v6.1 全部基准,并在首次 Endpoints 提交中实现智能体 AI 每瓦吞吐量超过 10 倍的代际提升。Vera Rubin NVL72 在 DeepSeek-V3 基准上从 256 扩展到 1024 GPU 保持约 97% 效率,训练时间从 16 分钟缩短到约 4 分钟,单 GPU 性能最高为 GB300 NVL72 的 2 倍。在 Kimi K3 的初步结果中,Vera Rubin NVL72 在相同响应速度下每瓦吞吐量超过 GB300 NVL72 的 10 倍。

推荐理由

AI 评分 60

原文给出 Vera Rubin 在 MLPerf 训练与智能体推理上的首轮成绩,读者可据此了解新一代平台相对 GB300 的能效与扩展变化。

主题

标签

正文 · AI 翻译

在其MLPerf基准测试首秀中(结果于今日公布),NVIDIA Vera Rubin平台在训练、后训练和智能体推理方面均实现了领先性能。

NVIDIA横扫了MLPerf Training v6.1的每一项基准测试,并在其首次MLPerf Endpoints提交中,为智能体AI实现了每瓦吞吐量超过10倍的代际提升——该指标衡量系统每消耗一瓦电力所能交付的智能体工作量。

这些结果仅仅是开始。随着NVIDIA CUDA驱动软件栈的持续优化,Vera Rubin的性能将不断攀升,因此客户今天投资的基础设施将随时间推移带来更多价值。

NVIDIA横扫MLPerf Training v6.1

AI智能体现已无处不在,它们编写代码、运行业务工作流、回答客户问题,并且正如本周SC26大会所强调的,还在推动科学研究进步。

更快的训练意味着更智能的智能体能更早触达用户,药物发现模型能跟上新的实验室数据,欺诈检测模型能更快适应新威胁。

MLPerf Training衡量系统将一系列AI模型训练至目标精度水平的速度。

NVIDIA平台是本轮唯一在每项基准测试上都有结果的平台,涵盖大语言模型、图像生成、推荐系统和强化学习后训练。在首秀中,Vera Rubin NVL72每GPU性能最高达到高度优化的NVIDIA GB300 NVL72系统的2倍——这些早期结果展示了代际创新的步伐。

NVIDIA还展示了规模化性能。在DeepSeek-V3基准测试中,Vera Rubin NVL72从256个GPU扩展到1,024个GPU,效率约为97%:GPU数量增至四倍,将训练时间从16分钟缩短至约4分钟。

NVIDIA还在搭载GB300系统的10,240个GPU上运行了该基准测试,这是本轮中最大的规模。Microsoft Azure以搭载GB200系统的10,240个NVIDIA GPU达到了相同规模。

这一规模的结果之所以重要,是因为只有当GPU能够高效协同工作时,增加GPU才能加速训练。NVIDIA NVLink纵向扩展网络连接每个系统内的GPU,使其作为一个整体运行;而NVIDIA Quantum-X800 InfiniBand和Spectrum-X以太网横向扩展网络则将这些系统跨数据中心连接起来。结合优化的软件,这使数千个GPU协同工作,帮助开发者构建更智能的模型,同时缩短训练时间。

一个负责旅行规划的AI智能体可以规划并预订整个行程——或者一个IT智能体可以在任何人提交工单之前发现并修复问题——它可能需要多次推理、调用工具并检查其工作,才能完成单个任务。

上述每一步都会生成token。由于AI数据中心受电力限制,系统每消耗一瓦电力每秒能生成的token越多,它就能服务越多的智能体,创造的价值也越大。

MLPerf Endpoints在真实的智能体编程和企业工作流上测试系统,并检查智能体是否仍能正确完成任务。NVIDIA Vera Rubin在其所有智能体基准测试中均领先。

例如,在专为智能体工作流构建的大型开放模型Kimi K3的初步结果中,Vera Rubin NVL72系统在相同响应速度下,每瓦吞吐量超过NVIDIA GB300 NVL72的10倍。

每个AI服务都必须在同时服务众多用户与快速响应每个用户之间取得平衡。Vera Rubin改变了整条曲线,在响应更快的同时服务更多用户。

跨基准测试和工作负载的领先地位

NVIDIA合作伙伴广泛参与了MLPerf Training,共有20个组织提交了结果:ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell Technologies、Firmus、Fujitsu、Giga Computing、Google Cloud、HPE、Inventec、Krai、Lambda、Nebius、Oracle、Quanta Cloud Technology (QCT)、Supermicro、TTA和佛罗里达大学。

他们的提交结果表明,NVIDIA的可编程平台凭借开源库和框架,让庞大的合作伙伴生态系统能够创新并优化AI训练性能。

这种领先优势不仅限于MLPerf。

Vera Rubin还在包括SemiAnalysis AgentX和Artificial Analysis AgentPerf在内的独立基准测试中实现了领先性能,展示了同一套NVIDIA基础设施如何高效运行从预训练、后训练到智能体推理的各类工作负载,以及AI之外的工作负载,例如本周SC26大会所展示的高性能计算。

如需深入了解结果,请参阅MLPerf Training和MLPerf Endpoints技术博客。

来源

NVIDIA:Newsroom