人工智能

Exa 借助 AWS AI 芯片将嵌入吞吐量提升 50%,为数十亿份文档建立索引

在 Exa,我们正在构建少数几个真正的网络索引之一,汇聚并提供来自整个网络以及私有和合成来源的知识。我们针对语义搜索优化索引,让智能体和人类都能以真实的高质量数据为依据。我们使用多塔语义机器学习(ML)模型,将网络数据和查询数据嵌入同一个向量空间,使用户既能使用传统关键词搜索,也能通过自然语言表达复杂查询。支撑这一切的关键技术是一个内部开发的向量数据库。它必须摄取尽可能多的高质量网络数据,并为所有数据生成嵌入。因此,嵌入的单位经济效益是我们一切工作的基础。在数百亿乃至数千亿份文档的规模下,寻找每美元性能最佳的硬件绝非无关紧要的调优细节。单份文档成本的任何改善,在累积后都会成为一个可观的数字。

本文详细介绍了我们如何在 AWS Neuron 硬件(AWS Inferentia2 和 AWS Trainium2)上优化嵌入基础设施,以支持成本更低、更灵活的推理工作负载,以及智能体式开发工作流如何推动这些优化。

推理在异步流水线上运行,但它必须具备高吞吐量和高速度,才能迅速提供最新数据,并缩短从发现数据到提供数据之间的时间。

Exa stack showing web data flowing from crawlers through parse, moderate, and embed stages into a vector database

图 1:Exa 技术栈的简化视图

每一份经我们评定质量足够高的结构化网络文档,都必须先生成嵌入才能对外提供。此图展示了原始网络数据如何从爬虫进入异步流水线,依次经过解析、审核和过滤,再进行嵌入,最终由向量数据库提供结果。

大规模生成文档嵌入

我们使用 Neuron 硬件系列的经历始于一次历史数据回填。改用更优秀的文档模型意味着必须为现有语料库重新生成嵌入。我们选出了 300 亿份高优先级文档进行重新嵌入。这类迁移会暂时使嵌入负载翻倍,因此当时正是重新评估硬件选择的最佳时机。

Two parallel embedding pipelines sharing crawl and parse stages, doubling the inference load during the backfill

图 2:历史数据回填导致推理负载翻倍

上图展示了两条共享抓取和解析阶段的并行流水线:一条使用线上模型生成嵌入并写入线上索引,另一条使用新模型为高优先级文档重新生成嵌入并写入新索引,后者正是负载翻倍的原因。这次负载翻倍显然促使我们重新审视硬件与优化方案。

优化历程

AWS Inferentia2 的数据是基于最小实例类型(即一台 Inferentia2 xlarge 实例 (inf2.xlarge)的性能得出的,该实例配有一个芯片和两个 NeuronCore。我们的工作负载在单个 NeuronCore 上运行,因此会运行 Kubernetes Pod,将其紧密部署到更大的实例上,不让任何核心闲置,从而使整个嵌入计算集群中的容器保持一致。同一进程也可在 Trainium2 NeuronCore 上运行,并以相同方式通过数据并行进行扩展。我们最初的 Inferentia2 实现很直接,采用模型的 FP16 表示进行数据并行处理。在此基准之上,我们借助 Neuron SDK 和 AWS Trainium 团队的支持,不断将吞吐量(文档数/秒)推至尽可能高的水平。下图展示了每个里程碑所带来的吞吐量提升。

Chart of throughput gains across optimization milestones, rising to about 1.5 times the baseline

图 3:各优化里程碑带来的吞吐量提升

从朴素编译开始,我们通过一系列循序渐进的优化,最终将吞吐量提高了约 1.5 倍。首先是权重布局优化,通过使权重布局与整个模型的调度和布局保持一致,消除不必要的转置。我们还启用了 autocast,让编译器在保留动态范围的同时,将矩阵乘法向下转换为较低精度。降精度后的输出通过了我们的正确性门槛,与参考结果的余弦相似度达到 0.999(参见 智能体式方法),因此精度影响处于我们的可接受阈值之内。

NKI 内核

该 Neuron Kernel Interface (NKI)库为常见的模型层和运算提供了优化内核。这些预构建内核能够立即提升常用功能的性能,我们利用它们迅速消除了最直观的低效来源。一个可直接替换使用的注意力内核又为我们带来了下一轮性能提升。

内存布局优化:融合式 SwiGLU MLP 内核

下一个瓶颈是内存溢出。来自 Neuron Explorer 的性能分析持续显示,数据大量溢出到高带宽内存(HBM)并重新载入,导致 Tensor Engine 在整个前向传播过程中无法得到充分利用。我们先使用一个可直接替换的 MLP 内核作为切入点,分析预构建实现的不足,随后编写了一个定制的权重驻留式融合 SwiGLU MLP 内核,消除了 HBM 停顿。

我们使用较高级的 NKI 语言处理布局操作、循环和内存操作,仅针对特定张量运算才下探到较低级的 NKI ISA。将内核的大部分代码保留在较高级语言中,更便于工程师理解和调试。

减少 FLOPS

此时,我们遇到了瓶颈。在芯片上的另一个核心闲置时测得的单加速器吞吐量,显著高于两个核心同时运行时的结果。这一差距意味着,我们理论上的数据并行吞吐量本应远高于实际实现的总体性能,由此可见两个核心之间存在资源争用。

性能分析和实验表明,我们的工作负载尚未使 Tensor Engine 饱和。通过精简计算,我们仍有余量可挖。最明确的路径是消除浪费,减少生成结果所需的总体 FLOPS。我们围绕模型中的确切形状重写了注意力内核,以减少在填充上耗费的 FLOPS。内核定制在这里真正发挥了作用。通用内核需要处理任意形状,因此无法利用特定架构中的具体形状。我们根据模型头架构的实际形状量身定制实现,从注意力计算中进一步榨取性能。我们还将注意力运算融合为单次矩阵乘法,而通用内核需要多个指令步骤。这减少了计算相同数值所需的内循环操作,从而减少了 HBM 往返访问,并带来了最后一次显著的速度提升。

总体而言,与最初的基线相比,我们的最终版本在性能以及每嵌入 100 万份文档的成本方面改善了 47%。

智能体式方法

智能体在一个简单的三部分测试框架中完成了所有这些优化。该框架让它们能够验证正确性、衡量性能,并分析工作负载以确定下一步方向。借助 Flyte——一个机器学习运维工作流平台——每个智能体都运行自己的工作流。该工作流会编译一个 NEFF Neuron 可执行文件,并使用基线数据集检查一次前向传播;其结果与标准模型的余弦相似度必须达到 0.999。随后,它会分析一次前向传播,并在真实硬件上运行 30 分钟的饱和度基准测试。

该测试框架支持使用成本各异的智能体。轻量级模型负责网格搜索编译器参数等繁琐工作,而正确性检查则可防止偏离。推理型智能体测试复杂假设并查找瓶颈,能力最强的代码生成器则编写定制内核来解决这些瓶颈。让每个智能体承担与其能力相匹配的任务,可以控制成本;验证机制则能防止能力较强的智能体偏离目标。由于许多智能体不了解最新的功能和语法, Neuron 智能体式开发技能 也发挥了作用。

灵活计算的优势

到目前为止,我们已经针对美国西部(俄勒冈)区域(us-west-2)优化了 Inferentia2,但只在一个区域中调优一种硬件系列存在明显上限。竞价型实例和按需实例的可用性因区域而异,而拥有众多内部使用方的组织还会彼此争抢资源。锁定单一区域或实例类型,几乎必然会导致计算资源短缺,甚至可能造成服务降级。

Exa 通过一个 Kubernetes 控制平面跨多个区域调度计算资源。我们的调度器会比较不同实例类型的单位成本性能,将 Pod 紧密部署到成本最低的节点上,并随着嵌入需求变化重新调度。我们每多优化一种硬件类型,就更接近全局最优。这正是我们在 Inferentia2 上的工作能够直接迁移到 Trainium2 的原因。通过切换硬件配置,我们可以释放其他团队需要的节点,或利用它们未使用的预留计算资源。对于长期运行的模型,跨硬件优化会带来极其可观的回报。

结论

在 Exa 的运营规模下,真正重要的是从灵活的硬件资源池中获得最佳的成本性能。事实证明,将 Neuron 硬件加入该资源池并使用 NKI 进行优化,是实现长期大幅节省成本的重要途径。


关于作者