AI 基础设施硬件已成系统工程：CASPA 峰会 10 条洞察

仅靠更快的芯片已不再能定义AI基础设施建设。如今数十万个处理器协同工作，如同一台机器，因此AI基础设施硬件是作为完整系统来设计和评判的。这一系统涵盖从机架间的光链路，到让GPU持续运转的内存、存储和供电。

下一阶段将由处理器周边的瓶颈来定义。铜缆正让位于光互连，内存墙在移动而非倒塌。建立在长达十年周期之上的电力系统，必须跟上每年都在迭代的芯片。需求毋庸置疑：内存和光激光器产能已被预订到数年后。

“AI领域的很多关注点一直集中在计算和内存上，但我们认为AI实际上是一个数据系统，”西部数据公司（Western Digital Corp.）首席执行官欧文·谭（Irving Tan，如图）表示。“归根结底，你需要整个生态系统协同运作，并能够步调一致地前进。”

谭和其他行业专家在加利福尼亚州圣克拉拉举行的CEO峰会上与theCUBE Research的John Furrier进行了交流。首届峰会恰逢华美半导体协会成立35周年。访谈内容涵盖光互连、推理经济学、内存池化、无掩模光刻、基于物理的计算、电力韧性和AI驱动的芯片设计。

以下是本次活动中的11条突出见解：

1. 随着存储成为AI数据层，硬盘获得吞吐量提升。

谭解释说，数据创造智能，存储让数据得以持久保存，因此数据必须在云、边缘和设备之间划分为热、温、冷层级。他援引IDC的数据指出，预计三年内生成的数据量将增长两倍，超过700泽字节。西部数据预计，未来五年数据存储需求将以至少25%的复合年增长率增长。

探索theCUBE的深入讨论。

2. 连接性成为AI数据中心的瓶颈。

Semtech Corp.供应光收发器和铜缆内部的芯片，这些芯片将数千个AI处理器连接成一台计算机。Semtech总裁兼首席执行官侯宏（Hong Hou）表示，每一次链路抖动都可能迫使任务重启，因此连接性如今决定着GPU的正常运行时间，进而决定收入。超大规模企业希望以更低功耗获得更大带宽，从而为计算留出更多数据中心固定电力预算。

查看theCUBE的完整访谈。

3. 推理经济学推动芯片制造商转向工作负载感知机架。

Rebellions Inc.联合创始人兼首席执行官Sunghyun Park解释说，智能体现如今全天候消耗token，使得每美元每瓦性能成为推理时代的关键指标，而非原始teraflops。超越当今机架级系统的下一步，是针对工作负载属于延迟关键型、吞吐量饥渴型还是能源受限型而定制的机架。模型每隔几个月就会变化，因此Rebellions设计灵活的硬件，并认为随着上下文窗口增大，网络将成为下一个瓶颈。

观看theCUBE的完整访谈。

4. 无掩模电子束光刻瞄准从摩尔定律向先进封装的转变。

Lam Research Corp.创始人、Multibeam Corp.首席执行官林杰屏（David Lam）指出，摩尔定律正接近极限，将逻辑、内存和输入/输出芯片结合在一起的先进封装正成为行业的驱动力。Multibeam将电子束柱从80厘米高缩小到记号笔大小，因此柱阵列可以并行写入晶圆。由此产生的无掩模光刻避免了掩模版限制，该限制迫使大型量子和AI芯片必须拼接在一起。

查看theCUBE的完整报道。

5. 随着内存墙持续存在，CXL内存池化焕发新生。

ScaleFlux Inc.首席商务官、近期从英特尔公司加入的Greg Ernst强调，内存墙可能五年内都无法解决。即使是一个服务众多用户的80亿参数模型，所需内存也远超高带宽内存的容量。Compute Express Link（CXL）允许多台服务器共享一个内存池。在这些内存池中重复使用旧DDR4模块的超大规模企业，正重新激发对该技术的兴趣。

不要错过theCUBE的完整访谈。

6. 存内计算瞄准内存供应紧张。

Normal Computing Corp.联合创始人兼首席执行官Faris Sbahi表示，新建内存晶圆厂需要三到四年才能投产，导致顶级供应商的大部分内存到2028年都已售罄。这家初创公司正从高带宽内存转向商用LPDDR5。它还在内存中直接执行部分推理计算，以降低成本和能耗。

在theCUBE上收听完整故事。

7. 基于物理的计算旨在单机架内实现人类水平智能。

Unconventional AI Inc.联合创始人兼首席执行官Naveen Rao分享道，该公司正在打造一台完全集成的机器，利用现实世界中随时间变化的物理特性进行计算，就像滚动的球天生就知道自己的下一个位置一样。该公司的首个系统目标是在单个机架内以约10,000瓦的功耗实现人类水平智能，相比之下人脑仅需20瓦。Rao的目标是继续降低这一数字，直到超越生物大脑，将智能成本降到足以开辟新的形态。

在theCUBE上观看完整对话。

8. 随着AI集群规模超出电气链路的承载能力，光学互连取代铜缆。

功耗限制正推动运营商用光纤连接多个较小的数据中心，而将数据中心内部的电气连接转换为光学连接是下一个增长驱动力，Lumentum Holdings Inc.总裁兼首席执行官Michael Hurlston强调。该公司在一年多的时间里增长了四倍，但产能仍比需求低约70%，且基本已排满至2029年。磷化铟激光芯片是关键制约因素，因此Lumentum正像这场建设还将持续四五年那样投资于晶圆厂和封装。

观看theCUBE的完整对谈。

9. 电力系统竞相追赶AI一年一代的硬件周期。

电力基础设施历来以六到十年的周期演进，而AI硬件大约每年更新换代一次。施耐德电气SE电力系统事业部总裁Melton Chang将这种错配描述为行业的核心挑战。AI负载可在毫秒内从30%波动到150%。这些波动威胁电压和频率稳定性，并引发共振，缩短现场发电机的寿命。施耐德利用数字孪生、仿真和实时数据来预判这些波动。

不要错过theCUBE上的完整片段。

10. 自验证AI智能体加速芯片设计，同时不牺牲信任。

西门子数字工业软件EDA IC与系统负责人Ankur Gupta表示，当模型每三到六个月就发生变化时，定制芯片再也无法承受18到24个月的设计周期，但设计人员仍然需要电子设计自动化工具给出确定性、可信的结果。西门子在其设计引擎上运行Nvidia Corp.的GPU，实现10到12倍的加速。它还使用AI智能体来自动化设计的设置和调试阶段。

查看theCUBE的完整采访。

11. d-Matrix将内存为中心的XPU从芯片扩展到机架，用于推理。

d-Matrix Corp.创始人兼首席执行官Sid Sheth表示，该公司已迅速从加速卡转向围绕其Corsair XPU构建的完整机架级系统。通过将内存直接堆叠在处理器之上——而不是将其放在中介层上紧邻计算单元——该架构同时释放了容量和带宽，这是AI推理的两大核心瓶颈。该公司通过融入Nvidia AI工厂生态系统加速了这一转变，从而避免从零重建供电、冷却、网络和软件。

在theCUBE上观看完整采访。

图片：SiliconANGLE