NVIDIA Vera Rubin 首次亮相 MLPerf,横扫训练基准并公布 Endpoints 成绩
NVIDIA Sweeps MLPerf Training and Endpoints as Vera Rubin Debuts With Leading Performance | NVIDIA Blog
NVIDIA Vera Rubin 平台在首次 MLPerf 基准测试中拿下 Training v6.1 全部基准,并在首次 Endpoints 提交中实现智能体 AI 每瓦吞吐量超过 10 倍的代际提升。Vera Rubin NVL72 在 DeepSeek-V3 基准上从 256 扩展到 1024 GPU 保持约 97% 效率,训练时间从 16 分钟缩短到约 4 分钟,单 GPU 性能最高为 GB300 NVL72 的 2 倍。在 Kimi K3 的初步结果中,Vera Rubin NVL72 在相同响应速度下每瓦吞吐量超过 GB300 NVL72 的 10 倍。
推荐理由
AI 评分 60
原文给出 Vera Rubin 在 MLPerf 训练与智能体推理上的首轮成绩,读者可据此了解新一代平台相对 GB300 的能效与扩展变化。
主题
正文 · AI 翻译
在其MLPerf基准测试首秀中(结果于今日公布),NVIDIA Vera Rubin平台在训练、后训练和智能体推理方面均实现了领先性能。
NVIDIA横扫了MLPerf Training v6.1的每一项基准测试,并在其首次MLPerf Endpoints提交中,为智能体AI实现了每瓦吞吐量超过10倍的代际提升——该指标衡量系统每消耗一瓦电力所能交付的智能体工作量。
这些结果仅仅是开始。随着NVIDIA CUDA驱动软件栈的持续优化,Vera Rubin的性能将不断攀升,因此客户今天投资的基础设施将随时间推移带来更多价值。
NVIDIA横扫MLPerf Training v6.1
AI智能体现已无处不在,它们编写代码、运行业务工作流、回答客户问题,并且正如本周SC26大会所强调的,还在推动科学研究进步。
更快的训练意味着更智能的智能体能更早触达用户,药物发现模型能跟上新的实验室数据,欺诈检测模型能更快适应新威胁。
MLPerf Training衡量系统将一系列AI模型训练至目标精度水平的速度。
NVIDIA平台是本轮唯一在每项基准测试上都有结果的平台,涵盖大语言模型、图像生成、推荐系统和强化学习后训练。在首秀中,Vera Rubin NVL72每GPU性能最高达到高度优化的NVIDIA GB300 NVL72系统的2倍——这些早期结果展示了代际创新的步伐。
NVIDIA还展示了规模化性能。在DeepSeek-V3基准测试中,Vera Rubin NVL72从256个GPU扩展到1,024个GPU,效率约为97%:GPU数量增至四倍,将训练时间从16分钟缩短至约4分钟。
NVIDIA还在搭载GB300系统的10,240个GPU上运行了该基准测试,这是本轮中最大的规模。Microsoft Azure以搭载GB200系统的10,240个NVIDIA GPU达到了相同规模。
这一规模的结果之所以重要,是因为只有当GPU能够高效协同工作时,增加GPU才能加速训练。NVIDIA NVLink纵向扩展网络连接每个系统内的GPU,使其作为一个整体运行;而NVIDIA Quantum-X800 InfiniBand和Spectrum-X以太网横向扩展网络则将这些系统跨数据中心连接起来。结合优化的软件,这使数千个GPU协同工作,帮助开发者构建更智能的模型,同时缩短训练时间。
一个负责旅行规划的AI智能体可以规划并预订整个行程——或者一个IT智能体可以在任何人提交工单之前发现并修复问题——它可能需要多次推理、调用工具并检查其工作,才能完成单个任务。
上述每一步都会生成token。由于AI数据中心受电力限制,系统每消耗一瓦电力每秒能生成的token越多,它就能服务越多的智能体,创造的价值也越大。
MLPerf Endpoints在真实的智能体编程和企业工作流上测试系统,并检查智能体是否仍能正确完成任务。NVIDIA Vera Rubin在其所有智能体基准测试中均领先。
例如,在专为智能体工作流构建的大型开放模型Kimi K3的初步结果中,Vera Rubin NVL72系统在相同响应速度下,每瓦吞吐量超过NVIDIA GB300 NVL72的10倍。
每个AI服务都必须在同时服务众多用户与快速响应每个用户之间取得平衡。Vera Rubin改变了整条曲线,在响应更快的同时服务更多用户。
跨基准测试和工作负载的领先地位
NVIDIA合作伙伴广泛参与了MLPerf Training,共有20个组织提交了结果:ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell Technologies、Firmus、Fujitsu、Giga Computing、Google Cloud、HPE、Inventec、Krai、Lambda、Nebius、Oracle、Quanta Cloud Technology (QCT)、Supermicro、TTA和佛罗里达大学。
他们的提交结果表明,NVIDIA的可编程平台凭借开源库和框架,让庞大的合作伙伴生态系统能够创新并优化AI训练性能。
这种领先优势不仅限于MLPerf。
Vera Rubin还在包括SemiAnalysis AgentX和Artificial Analysis AgentPerf在内的独立基准测试中实现了领先性能,展示了同一套NVIDIA基础设施如何高效运行从预训练、后训练到智能体推理的各类工作负载,以及AI之外的工作负载,例如本周SC26大会所展示的高性能计算。
如需深入了解结果,请参阅MLPerf Training和MLPerf Endpoints技术博客。