Marvell 与 Penguin 如何用光子技术和共享内存池缓解 AI 内存瓶颈
Memory bottlenecks in AI: How photonics and shared pools help - SiliconANGLE
Marvell 与 Penguin 通过光子互连和共享内存池缓解 AI 推理中的数据等待与 GPU 利用率低下问题。MemoryAI Photonic Appliance 可在距 GPU 数十米处提供 16 terabytes 的 HBM 和 DDR5,供多机架服务器共享。超过 80 percent 的纵向扩展网络流量属于内存事务,其数据移动能耗可降至铜方案的四分之一。
正文 · AI 翻译
随着推理超越训练,内存瓶颈正成为 AI 基础设施中成本最高昂的问题之一。GPU 在等待数据时处于闲置状态,而高带宽内存(即 HBM)则固定在无法共享这些内存的处理器上。
光子技术正逐渐成为一条出路。Marvell Technology Inc. 一直在将光学技术与光子内存相结合,把内存扩展到芯片边界之外。Marvell 光子织网业务部门高级副总裁兼总经理 Preet Virk(图左)表示,其回报是提高企业已经付费建设的数据中心的效率。
“如今的数据中心在效率方面还有很大的提升空间,”Virk 说,“我所说的效率,指的是被浪费的浮点运算能力,因为我们的 GPU 利用率非常低。”
Virk 与 Penguin Solutions Inc. 高级产品开发副总裁 Andy Mills(右)在 SC26 期间接受了 theCUBE Research 的 John Furrier 和 Amit Eyal Govrin 采访,该专访通过 SiliconANGLE Media 的直播演播室 theCUBE 独家播出。他们讨论了光子技术和共享内存池如何缓解 AI 基础设施中的内存瓶颈。(* 披露信息见下文。)
共享池瞄准内存瓶颈
Mills 解释说,Penguin 的 MemoryAI Photonic Appliance 将 HBM 移至距 GPU 数十米远的独立设备中,并通过 Marvell 的 Photonic Fabric 连接。每台设备容纳 16 TB 的 HBM 和 DDR5 内存,可供多个机架中的服务器共享。
“这里的挑战是确保你的 LLM 不会忘记你 10 分钟前开始和它谈论的内容,”Mills 说,“要做到这一点,你需要大量内存和较长的 token 长度。”
光学技术也改变了能耗计算。在单个机架内部,铜互连仍然适用,但要跨越由数千个 GPU 组成的 pod,就需要光学互连,Virk 表示。他指出,超过 80% 的纵向扩展网络流量是内存事务,而采用共享池意味着其中大量数据根本不必移动。
“在数据移动中,内存事务是一个值得重点关注的领域,”Virk 说,“因此,与基于铜互连的数据移动相比,这一解决方案可以立即将数据移动的每比特皮焦耳能耗降至四分之一。”
智能体进一步提高了要求,其产生的 token 请求远远超过人类用户以往的水平。随着推理扩展到更多机架和站点,Mills 认为共享池是解决内存瓶颈的切实方案。
“实际上,分布式架构会促进共享,因为你不希望重复计算,”Mills 说,“KV cache 之所以取得巨大成功,关键就在于它避免了对相同数据的重复计算。当你能够在更广泛的范围内共享这些数据,并将共享扩展到更多机架时,效率也会随之提高。”
以下是完整的视频采访,属于 SiliconANGLE 和 theCUBE 对 SC26 的报道之一:
(* 披露:Penguin 赞助了本期 theCUBE 节目。Penguin 及其他赞助商均无权对 theCUBE 或 SiliconANGLE 的内容进行编辑控制。)
图片:SiliconANGLE
AI 热点