Dell 与 AMD 如何构建机架级 AI 平台

Dell Technologies Inc.及其合作伙伴Advanced Micro Devices Inc.面临着相似的竞争压力。这两家科技巨头所处的商业环境如今以中央处理器、图形处理器、机架级系统、内存容量、网络带宽以及每美元token数来衡量成败。

在所有这些指标上展开竞争的压力，凸显了theCUBE Research所称的“工程速度”。自5月的Dell Technologies World活动以来，AMD和Dell在合作与发布公告方面的步伐并未放缓。

AMD和Dell正致力于构建能够跟上不断变化的工作负载和客户需求的企业AI基础设施。

theCUBE Research的Dave Vellante表示：“在AI基础设施领域，赢家可能不是在主题演讲日拥有最佳基准测试成绩的公司。更可能是其工程体系能够比任何人都更快地学习、验证并改进整个平台的公司。”

本文是SiliconANGLE Media探索推动持续、生产级AI的架构变革系列报道的一部分。请务必查看theCUBE的“Dell AI Data Platform Event: From Ambition to AI at Scale”以及其对今年Dell Technologies World的过往报道。（*下方披露。）

机架级整合

Dell与AMD关系的基石是这家服务器巨头的PowerEdge产品组合。Dell于5月扩展了其PowerEdge服务器产品线，随后又公布了有关集成AMD处理器的更多细节。

两家公司推行了一项旨在促进服务器整合的战略，因为代理式AI推动了对通用计算需求的激增。代理高度依赖CPU，然而数据中心在已经堆满GPU的机房中并没有太多额外空间来增加服务器。

据Dell产品规划师兼高级顾问Pradyumna Narendra介绍，搭载AMD处理器的系统将带来70%的代际性能提升，并可将Dell第14代PowerEdge的13台服务器整合为1台。

他在接受theCUBE采访时表示：“每替换10到13台服务器，你就能收回如此多的生产力收益，因为现在你可以用一台服务器完成这些工作。当你将其扩展到整个数据中心时，这就像是一种加速效应，你可以从中获益。”

Dell和AMD还必须满足大量AI用例及随之而来的计算需求。据Narendra介绍，Dell的三机架单元服务器相比两单元同类产品所需的冷却功耗更低，使客户能够在每个机架中装入更多计算能力。

他解释道：“通过部署封装尺寸稍大的服务器，你在机架层面获得了更高的密度，这有时似乎有悖直觉。随着AI加速，推理和围绕它的代理式AI将加速并更快增长。随着这些用例的扩展，计算需求将呈指数级增长。”

模块化部署与验证

除了服务器整合之外，Dell和AMD一直在稳步增强一套模块化解决方案，以简化AI部署和扩展：Dell AI Platform with AMD。

这一本地部署的企业AI解决方案将AMD Instinct加速器和EPYC处理器与Dell PowerEdge服务器、PowerSwitch网络和PowerScale存储相集成，用于模型训练、微调和高吞吐量推理。该平台旨在让客户从满足当前工作负载的配置起步，并随时间推移扩展计算和GPU密度，而无需重新架构。

Dell产品营销与基础设施解决方案集团高级副总裁Varun Chhabra在接受theCUBE采访时表示：“我们发现客户想要模块化解决方案。他们希望从整个平台的角度来考虑[解决方案]。计算、存储、网络[和]GPU。其上的软件框架、模型：它们都经过测试了吗？它们都经过验证了吗？”

Dell已将AMD ROCm软件栈集成到该平台中，以支持在本地训练、微调和 serving 大型语言模型。据Chhabra介绍，该模块化平台让客户能够从小规模部署起步，并在同一基础设施上扩展。

他说：“你可以从这些可组合的存储、计算、网络单元开始小规模部署，它们已预先与AMD Instinct和EPYC CPU集成，并配有ROCm软件以及其上的开放生态系统。我们对其进行测试，我们对其进行验证，客户可以使用它，一旦他们开始看到其中的价值，他们就知道可以用相同的框架以模块化方式扩展。”

利用PCIe的优势

Dell宣布从7月起在其PowerEdge XE7745和R7725服务器中支持AMD Instinct MI350P PCI Express GPU，为企业扩展代理式和生成式AI部署提供了另一种选择。这也代表着内存带宽的重要提升，而内存带宽对首token延迟至关重要。

据AMD Instinct数据中心GPU业务开发高级经理Mike Darby在theCUBE节目上露面时介绍，MI350P提供144GB的HBM3E内存，这可以成为推理性能的关键差异化因素。

“这是很大的内存容量，但它同时也是HBM3E，所以[它拥有]惊人的带宽，”他说。“主要用例是推理：关键在于延迟、首token时间[以及]用户体验，这样你在等待响应时注意力就不会转移到别处。”

AMD与Dell在PCIe集成上的合作还有另一个值得关注的方面。AMD基于PCIe的GPU支持风冷部署，为用户提供了一条在现有数据中心基础设施内部署AI的路径。

近几个月来，随着科技行业在美国各地建设大型数据中心遭遇阻力，担忧主要集中在环境影响以及水冷系统的使用上。另外，Dell发现，在部署其下一代PowerEdge服务器时，一些企业客户仍未准备好在其数据中心内采用液冷。

“在与Dell合作的过程中，我们为GPU Instinct的风冷路线图增加了一款PCI卡，使其能够适配更多面向更广泛企业客户的Dell PowerEdge服务器，”AMD数据中心解决方案集团架构与战略企业副总裁Robert Hormuth在接受theCUBE采访时表示。“并非所有人都在采用直接液冷。”

开放市场中的合作

Dell今年与AMD的合作已超出联合产品发布的范围。6月，两家公司宣布与剑桥大学合作，在英国建立主权AI创新实验室（SAIL）。

该合作旨在帮助推进下一代AI基础设施和AI驱动的科学突破。它建立在剑桥大学扩展后的AI研究基础设施之上，包括Zenith AI超级计算机，该超级计算机由第五代AMD EPYC处理器和集成到Dell基础设施中的AMD Instinct MI355X GPU加速器提供支持。

近几个月来，Dell和AMD还与AT&T Inc.在电信计划上展开了合作。就AI而言，电信数据是一项繁重的任务，AT&T已处理超过一万亿个token来训练模型。AMD为涉及通过Open Telco AI计划开发的OTel 2.0模型的训练和推理工作负载提供了高性能硬件基础。

Dell将这项技术与面向电信环境的AI优化服务器集成，为运营商在数据密集型、真实网络环境中打造了生产级基础。OTel 2.0的训练基础设施使用配置了八块MI355X GPU的Dell PowerEdge XE9785服务器。

Dell与AMD之间的联盟凸显了不断增长的AI基础设施市场中的一个关键发展：竞争机会大量存在。Dell和AMD似乎都致力于打造能在AI处理解决方案方面为企业提供选择的产品组合。

“AMD并未将其新产品……呈现为‘可接受的替代方案’，”Vellante说。“它宣称在CPU、GPU、机架级性能、内存容量、网络带宽和每美元token数方面全面领先。它还将这一论点扩展到企业AI、机器人技术、超低延迟推理以及快速扩张的合作伙伴生态系统。”

（*披露：TheCUBE是Dell AI数据平台活动的付费媒体合作伙伴。无论是TheCUBE活动报道的赞助商Dell，还是其他赞助商，均不对TheCUBE或SiliconANGLE上的内容拥有编辑控制权。）

图片：SiliconANGLE/ChatGPT