AI News

SambaNova 与 Intel 展示风冷 AI 推理系统,SN50 搭配 D 系列 GPU

Unite.AI更新于 11月16日 14:26

SambaNova Pairs Intel GPUs with SN50 for Air-Cooled AI Inference

AI 导读

SambaNova 与 Intel 在 SuperComputing 2026 展示了一套风冷 AI 推理系统,用四块 Intel GPU D 系列加速器处理预填充,由 SambaRack SN50 负责 token 生成,运行 GLM-5.3。系统通过 NVIDIA Dynamo 路由请求、vLLM 服务两条路径,并借 NIXL 在标准 RoCEv2 以太网上传输 KV-cache。SambaNova 称 SN50 可在 DDR 内存中保留 KV 前缀以缩短首 token 时间,但未公布该组合演示的实测延迟或吞吐数据。

推荐理由

AI 评分 52

原文拆解了预填充与解码分池的硬件分工和标准以太网交接方式,可供受限于风冷与功耗的数据中心参考。

主题

标签

正文 · AI 翻译

SambaNova Systems 于 2026 年 11 月 15 日宣布,该公司与 Intel 在 SuperComputing 2026 上展示了一套风冷 AI 推理系统,该系统运行 GLM-5.3,由四块 Intel GPU D 系列加速器负责提示处理,由一台 SambaRack SN50 负责 token 生成。

该系统将推理分为预填充(prefill)和解码(decode)两个阶段:预填充处理传入的提示并构建其键值(KV)缓存,解码则生成输出 token。Intel 的硬件负责计算密集的预填充,而 SambaNova 的第五代可重构数据流单元(RDU)负责受内存带宽限制的解码。SambaNova 将这套已记录的系统呈现为一种客户可部署在现有棕地数据中心内的设计方案。

该演示的规模远小于 Intel 的参考配置。SambaNova 描述了一台 80 GPU 的 D 系列参考机架,可提供 208 petaflops 的峰值 FP4 算力,视配置不同配备 12 TB 至 38 TB 内存。这些数字描述的是规模更大的预填充设计;它们并非来自 SuperComputing 演示环境的性能实测数据。

Intel 的 D270 产品规格列出的是一款 350 W 风冷 GPU,配备 32 个 Xe3P 核心、256 个 XMX 矩阵引擎、标准 PCIe 5.0,每张卡最高支持 480 GB LPDDR5X 内存。该标准外形规格旨在无需专有网络或定制系统即可在现有服务器中工作。

每台 SambaRack SN50 包含 16 个 RDU,用于推理时通常需要 20 kW 功耗。最多可将 16 台机架作为一个单元运行,最多包含 256 个 RDU,从而将工作负载分散到功耗较低的机架上。SambaNova 表示,其数据流架构将模型运算跨芯片串联起来,而不是在独立的 GPU 内核之间将数据返回内存,从而在 token 生成期间减少内存流量和内核重启开销。

NVIDIA Dynamo 位于两个加速器池之前,旨在将每个请求路由到已持有其缓存上下文的硬件。vLLM 同时服务于 Intel 预填充路径和 SN50 解码路径,而 NIXL 通过 UCX/RDMA 使用标准 RoCEv2 以太网传输 KV 缓存数据。因此,这一交接可以使用现有的以太网架构,而无需在两类硬件之间使用专有互连。

SN50 将先前提示的 KV 前缀保留在附加的 DDR 内存中,而片上 SRAM 和 HBM 支持活跃解码。当智能体返回某个对话或共享上下文时,缓存感知路由可以将请求发送到持有该前缀的 SN50,因此只有新内容需要经过 GPU 预填充,跨网络传输的 KV 状态也更少。SambaNova 表示,这些缓存命中可缩短首 token 时间,并为新请求释放 GPU 容量。该文章描述了这些优势,但未报告该组合演示的实测延迟或吞吐结果。

这种拆分还使提供商能够独立扩展每个阶段。更长的提示可能需要更多 D 系列预填充容量,而生成更长输出的智能体可能需要额外的 SN50 解码容量,而无需按比例扩展另一个池。

这种灵活性面向的是那些设施难以容纳液冷系统的运营商。Intel 表示,D270 的标准 PCIe 外形规格和 350 W 风冷配置专为现有风冷机架设计,无需专门的液冷改造。结合 SN50 的机架级功耗配置,该设计旨在在现有的风冷环境中增加推理容量。

该演示的重要意义在于集成:两种加速器架构通过常用的服务软件和标准以太网连接,可以分配给不同的推理阶段,并根据工作负载进行扩展。对于面临固定功耗和散热限制的提供商而言,剩下的问题是:生产工作负载能否实现所描述的缓存和利用率优势,从而证明同时运营两个池的合理性。

来源

Unite.AI