←新闻详情

NVIDIA:Newsroom更新于 10月28日 10:36

NVIDIA 与 Oracle 将 Vera Rubin 扩展至多吉瓦规模,Vera CPU 上线 OCI

NVIDIA and Oracle Expand NVIDIA Vera Rubin to Multi-Gigawatt Scale and Bring NVIDIA Vera CPU to Oracle Cloud Infrastructure | NVIDIA Newsroom

AI 导读

NVIDIA 与 Oracle 宣布计划把 OCI Supercluster 中的 NVIDIA Vera Rubin NVL72 系统扩展至多吉瓦规模,同时 Vera Rubin NVL72 与 NVIDIA Vera CPU 在 OCI 正式可用。OCI Superclusters 每机架通过 NVLink 连接 72 块 GPU,并采用 Spectrum-X 以太网与 BlueField-4 DPU;双方称客户可独立扩展 CPU 与 GPU 资源,以减少空闲容量。OpenAI 已在 Abilene 的 OCI Supercluster 上用超过 10 万块 NVIDIA Blackwell GPU 训练和运行 GPT-6 Astra,并表示将把 Vera 投入生产以支撑智能体沙箱负载。

推荐理由

AI 评分 57

原文给出双方把 Vera Rubin 扩到多吉瓦级、Vera CPU 在 OCI 全面可用的具体安排,可据此判断 AI 云基础设施的扩容方向。

主题

标签

正文 · AI 翻译

NVIDIA 与 Oracle 今日宣布,计划将 OCI Supercluster 中的 NVIDIA Vera Rubin NVL72 系统扩展至多吉瓦规模,以满足客户在 AI 训练、推理和智能体应用方面不断增长的需求。Oracle 与 NVIDIA 还扩大了双方的 AI 基础设施合作,NVIDIA Vera Rubin NVL72 和 NVIDIA Vera CPU 现已在 OCI 上正式可用。

扩大后的合作使客户既能获得用于训练和运行前沿模型等 GPU 密集型工作的基础设施,也能获得用于智能体在模型调用之间执行工具、测试代码和检索数据等 CPU 密集型任务的基础设施。客户可以独立扩展 CPU 和 GPU 资源以匹配其工作负载,从而帮助减少闲置容量,让更多基础设施得到有效利用。

OCI Supercluster 结合了 NVIDIA NVL72 机架级系统、Oracle Acceleron 网络(采用搭载 NVIDIA Spectrum™-6 交换机和 NVIDIA BlueField®-4 DPU 的 NVIDIA Spectrum-X™ 以太网)、以及吉瓦级供电和冷却能力,用于训练和运行最大的 AI 模型。每个机架通过 NVIDIA NVLink™ 纵向扩展网络连接 72 块 GPU,而 OCI 具备弹性的多平面网络可扩展至数十万块 GPU。

计划中的 Vera Rubin 扩展建立在 OCI 现有的 NVIDIA 驱动基础设施之上,包括 NVIDIA GB200 和 GB300 NVL72 系统。NVIDIA 通用的 CUDA® 软件基础和持续的软件优化帮助客户跨硬件代际支持不断演进的模型和工作负载。

OCI 还计划引入 NVIDIA HGX Rubin NVL8,在基于 x86 的服务器配置中通过 NVLink 连接八块 Rubin GPU。

该计划中的平台配备两颗 64 核 Intel Xeon 6 CPU、4TB DDR5 内存和 6.4 Tbps 高速 RDMA 网络,为 AI 训练、微调和推理提供灵活的部署选项。HGX Rubin NVL8 使客户能够在较小的八 GPU 配置中采用下一代 Rubin GPU 技术,同时保持与基于 x86 应用的兼容性。

这种灵活性使客户能够随着需求变化,将其 AI 基础设施适配不同的模型和工作负载,在训练和推理中利用加速计算容量,从而更好地利用其基础设施投资。

OpenAI 已展示了该基础设施如何支持前沿 AI。在 Abilene,OpenAI 已在配备超过 10 万块 NVIDIA Blackwell GPU 的 OCI Supercluster 上训练和运行 GPT-6 Astra。

“随着我们的前沿模型不断进步,我们需要能够跟上步伐的基础设施,”OpenAI 计算基础设施工程负责人 Sreekanth Pothanis 表示。“OCI 上的 NVIDIA Vera Rubin 为我们提供了加速模型训练和运行日益严苛的 AI 工作负载所需的计算性能和规模。”

AI 智能体所做的不仅仅是生成回复。它们会调用工具、执行代码并检索信息以完成任务。这些 CPU 密集型操作执行缓慢会延迟结果,并使 GPU 在模型调用之间处于等待状态。

搭载 NVIDIA Vera CPU 的 OCI Compute 将高单线程性能与内存带宽相结合,帮助智能体更快完成 CPU 密集型任务。高单线程性能可加速单个工具调用和代码执行,而高内存带宽则在智能体运行并发任务时持续为 CPU 核心提供数据。这些能力共同帮助减少 GPU 空闲时间,并在工作负载扩展时保持性能一致。为进一步支持这些工作负载,OCI Kubernetes Engine 使客户能够独立扩展 CPU 和 GPU 资源,而 Oracle Acceleron 为运行不可信的 AI 生成代码的工作负载提供基于硬件的隔离。

包括 OpenAI 在内的早期访问 OCI 上 NVIDIA Vera CPU 的客户,正在探索其在一系列 AI 工作负载中的潜力。

“OCI 上的 NVIDIA Vera CPU 提供了执行代码和运行工具所需的世界级加载性能,支撑我们快速增长的智能体沙箱工作负载,”OpenAI 计算首席技术官 Uday Ruddarraju 表示。“我们正在将 Vera 在 OCI 上投入生产,以大规模支持这些工作负载。”

“Oracle Cloud Infrastructure 为客户提供推进前沿 AI 所需的性能、安全和规模,”Oracle 云基础设施总裁 Mahesh Thiagarajan 表示。“我们与 NVIDIA 的合作将这些能力扩展到训练、推理和智能体 AI。通过将 NVIDIA Vera Rubin GPU 和 Vera CPU 与 Oracle Acceleron 网络及 AI 优化数据中心相结合,我们帮助客户保持 GPU 高效、安全,并随着需求增长高效扩展。”

“AI 工厂必须高效、持久且可互换——提供高效计算、通过持续的软件进步保持实用性,并随着需求变化服务不同的模型和工作负载,”NVIDIA 超大规模和高性能计算副总裁 Ian Buck 表示。“通过与 Oracle 合作,我们将 Vera Rubin 和 Vera CPU 引入 OCI,帮助客户在今天让更多基础设施投入工作,并在 AI 演进过程中保持其价值。”

了解更多关于 Oracle Acceleron、Oracle Cloud Infrastructure Supercluster、Oracle 与 NVIDIA 的多代合作伙伴关系,以及搭载 NVIDIA Vera CPU 的 OCI Compute 的信息。

来源

NVIDIA:Newsroom