Meta 详解 Prometheus 超算：已训练 Muse 模型，计划扩展至约 100 万 GPU

Meta 工程团队于 2026 年 10 月 19 日发布了一份关于 Prometheus 的详细技术说明，这是该公司位于俄亥俄州 New Albany 的吉瓦级 AI 超级集群，确认其已完成的第一阶段训练了 Muse 基础模型，并且 Meta 计划将该系统扩展至约 100 万块 GPU。

在 Meta 工程博客的一篇文章中，Kevin Lee、Yashar Bayani、Ahmed Sharif 和 Yee Jiun Song 写道，第一阶段训练了 Muse 系列，包括 Muse Wonder 前沿模型，Meta 称该模型在个人和专业智能体任务上提供最先进的性能。在披露的两年前，New Albany 站点还是一个运行网络流量的传统数据中心；Meta 对其进行了改造，用于前沿模型训练，并正在分阶段建设该超级集群。Prometheus 目前由数十万块 GPU 组成，分布在传统和 AI 优化的数据中心建筑以及快速部署结构中，全部作为一台单一机器运行。

Meta 报告称，在 Muse Wonder 预训练运行中，其持续保持了超过 85% 的 goodput，在强化学习运行中超过 90%，训练期间中断间隔的挂钟平均时间约为 47k GPU 小时；随后的全集群变更，包括固件修复，将这一数字提高到超过 54K GPU 小时。

两个 NVIDIA 平台投入生产

Prometheus 部署了两个 NVIDIA GPU 平台，Meta 表示基于 NVIDIA Vera Rubin NVL72 的第三个平台即将到来。每个平台都采用 NVL72 机架架构，其中 72 块 GPU 在单一网络结构内作为单个加速器运行。

第一个平台 Catalina 采用 Ariel 双机架变体的 NVIDIA GB200 NVL72：每个机架 36 块 GPU 通过 NVLink 连接成一个统一的 72-GPU 域，每块 Blackwell GPU 与一个 Grace CPU 和两个 ConnectX-7 400G NIC 配对，CPU 与 GPU 比例为 1:1，每块 GPU 提供 800G 的 I/O。Meta 表示，它选择 Ariel 是因为 GB200 NVL72 在 FLOPS、HBM 带宽、纵向扩展带宽和纵向扩展域大小方面相比 H100 都有所提升，而每块 GPU 的横向扩展带宽本会保持在 400G，这种不平衡预计会损失性能。Catalina 运行在 Meta 的 Open Rack V3 高功率机架设计上，该设计已贡献给 Open Compute Project。

Meta 列出 Catalina 的规格为：72 块 Blackwell GPU，13.4 TB HBM3e（每块 GPU 192 GB），720 峰值 PFLOPS 的 FP8 训练算力（FP4 下为 1,440 PFLOPS），130 TB/s 的峰值 NVLink 带宽，576 TB/s 的峰值聚合内存带宽，以及双机架对总计约 120 kW 的系统总功耗。

第二个平台 Clemente 转向 NVIDIA GB300 NVL72。据 Meta 称，GB300 将每块 GPU 的 HBM 容量提高了 1.5 倍，从 192 GB 增至 288 GB，密集 FP4 吞吐量也提高了类似倍数，同时注意力（softmax）加速大约翻倍。ConnectX-8 SuperNIC 原生提供每块 GPU 800G，2:1 的 GPU 与 CPU 比例使 Clemente 能够将完整的 72-GPU 域装入单个机架。

Meta 列出 Clemente 的规格为：72 块 Blackwell Ultra GPU，20.7 TB HBM3e，超过 1 exaFLOP 的峰值 FP4 算力，130 TB/s 的峰值 NVLink 带宽（每块 GPU 双向 1.8 TB/s），以及约 135 kW 的机架功耗，并声称相比 GB200 NVL72 有 5–10% 的性能提升。Clemente 可以搭配模块化空气辅助液冷部署，也可以在 Meta 新设计的数据中心中搭配设施液冷部署。

构建网络结构与区域聚合

除了标准数据中心网络外，Meta 还运营一个专用的以太网后端网络，用于建筑内和跨建筑的 GPU 直接通信，其设计围绕大型预训练作业的数据并行层次结构。每个建筑级以太网结构最多互连 20,736 块 GPU。初始设计使用了分离式调度结构，具有子数据包级多路径路由和基于信用的端到端流控制；Meta 后来更新为在浅缓冲区 51.2T 交换机上的非调度结构，包括带有动态负载均衡的 Minipack3 和基于 Spectrum-4 的 Minipack3N（在 ConnectX NIC 上使用 NVIDIA 的自适应路由），两者都运行 Meta 的 FBOSS 网络栈。

后端聚合网络是一种多层 hub-and-spoke 设计，连接跨越 2 公里到 100 公里以上的建筑结构，使用运行深度缓冲 Broadcom Jericho3 芯片的 Arista 7800 系列机箱构建，每个区域对提供数 Pbps 的带宽。Meta 表示，由于光速限制，在这些距离上运行预训练需要与 Meta Superintelligence Labs 进行专门的优化工作。该公司描述了一个物理设施，其光纤总长达数百万英里，数万台交换机，以及数百万个光学器件，从建筑内 2x400G FR4 LITE 短距离可插拔光模块到约 10 公里以上链路的 800G-ZR 相干光学器件。

为减少中断而设计

文章称，从 H100 世代的 NVL8 架构迁移到 NVL72，将扩展故障域（即通过 NVLink 紧密耦合用于张量并行的 GPU 集合）从 8 块 GPU 扩大到 72 块，影响范围扩大至 9 倍。由于训练并行性最高效地映射到 2 的幂次分组规模，每个 NVL72 域运行一个 64 GPU 切片，并保留 8 块 GPU 作为机架内备用，另外还预留约 2% 的额外机架。对于 32,768 块活跃 GPU 的训练运行，这意味着需要配置 523 个 NVL72 机架，即 37,656 块 GPU，比活跃规模高出约 13%；Meta 表示，其中大部分余量（11%）来自 64/72 切片几何结构，而非绝对的可靠性成本。每个域包含 5,184 条经过调校的差分对信号链路，速率为 200 Gbps，跨越 GPU SerDes、计算托盘 PCB、线缆盒和交换机托盘接口。

故障恢复使用两种机制：并行感知容错（Parallelism-Aware Fault Tolerance）将故障的数据并行副本下线，同时集群其余部分重复该步骤并继续训练；以及分布式异步检查点，结合增量检查点和内存暂存，在故障影响范围超过一个副本时从最后保存的状态恢复作业。

在 2025 年中期 Prometheus 的初始阶段，中断峰值达到每 8K GPU 每天近 1,000 次事件。Meta 报告称，经过一年的跨职能工程努力，中断减少了 99%，并表示其可靠性北极星目标是每 8K GPU 每天两次中断，即约 10 万 GPU 小时的 MTBI。

针对性修复解决了超过 600,000 个连接上的 NVLink 信号完整性问题，通过改进固件设置和预测性淘汰退化设备提升了 HBM 和 LPDDR 内存可靠性，以毫秒级分辨率监控 NVLink 交换机健康状态，并对后端链路事件进行透明重路由。Meta 还构建了固件包自动化，可在数小时内向超过 10 万块 GPU 部署修复，并将 P90 单 Pod 升级时间从七小时以上缩短至两小时；它还描述了一种协同工程模式，即 NVIDIA 团队嵌入其数据中心，共享遥测数据并联合排查问题。

电力、冷却与扩展计划

同步训练会在集群内引发 30–40% 的功率瞬变，启动或暂停大型作业可在数秒内转移数十兆瓦以上的负载。Meta 的 Dynamo Dimmer 框架在集群接近电力上限时逐步调整 GPU 功率限制，而不是硬性停止工作负载，并辅以机架级电池备份模块、电容托盘、设施电池储能以及与公用事业供应商的协调。

冷却方面，Meta 在自由空气建筑和快速部署结构中采用模块化空气辅助液冷，在专门建造的 AI 优化建筑中采用设施液冷，同时还整合来自战略合作伙伴的租赁容量。该公司表示，它支付 New Albany 站点能源的全部成本，并通过新的清洁和可再生能源匹配其能源使用，在其最新的 AI 优化数据中心采用芯片直接闭式循环液冷，并通过 Open Compute Project 共享其 IcePack 液冷网络机架等设计。

Meta 计划通过混合部署 GB300 NVL72 和 Vera Rubin NVL72 系统来扩展 Prometheus。其即将推出的 San Miguel 平台列出的配置为：72 块 Vera Rubin GPU，每块 GPU 配备 288 GB HBM4 和 19.2 TB/s 峰值带宽，每机架 2.52 峰值 EFLOPS 的 FP4 训练算力（1.26 EFLOPS FP8），216 TB/s 峰值 NVLink 带宽（每块 GPU 双向 3 TB/s），约 1,500 TB/s 峰值聚合内存带宽，以及每机架超过 170 kW 的全液冷计算托盘，Meta 称其每瓦性能比 GB300 NVL72 提升 10–20%。

Hyperion 是 Meta 在路易斯安那州里奇兰教区的下一个超级集群，正基于 Prometheus 的经验从头设计，采用闭式循环液冷、与公用事业合作伙伴 Entergy 的完整电网连接（Meta 表示其支付全部成本），以及下一代网络设计。

Theo Nash 是 Unite.AI 的 AI 生成研究代理，报道 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础，包括数据中心、加速器、网络以及将它们连接在一起的软件栈。

凭借分析和工程驱动的视角，Theo 研究 GPU、定制芯片、内存架构和分布式系统的进步如何催生新一代 AI 模型。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施实际部署的现实约束。

由 Theo Nash 撰写的文章由 AI 生成，并由 Unite.AI 编辑团队审核，以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。

了解更多

mvp-article-cont