AI 热点

180B 参数、32GB RAM:用 Transformers 将 MoE 推理推向极限

Hugging Face更新于 11月19日 05:49

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

基于 Transformers 的专家流式方案在 32 GB Mac M5 上运行 Qwen3.8-Flash-Next,最终达到约 14 tok/s,短文本解码速度比 Strata 低约 6%,预填充稍快。方案仅流式读取路由选中的专家,通过有界缓存复用 grouped_mm,并配合针对性 Metal 内核;模型加载后占用约 18 GiB,6K 提示词时峰值为 25.4 GiB。通用实现位于 huggingface/transformers#50717,基准结果收录在 tarekziade/moe-expert-streaming Space。

推荐理由

精选AI 评分 71

文章拆解了多种 MoE 卸载机制,并给出专家流式缓存与 Metal 优化的实测取舍,可迁移到消费级硬件部署。

主题

标签

正文 · AI 翻译

什么是 Strata?

Strata 是一个面向 Qwen 等 MoE 模型的推理引擎。只有热门专家会留在 VRAM 中,其余则放入 RAM,甚至磁盘。专家占 MoE 模型权重的 90% 以上,因此像这个 180B 模型,即使 GPU 显存小得多也能运行,比如我的 RTX 4090!

它也能在笔记本电脑上运行,我偶然发现了这篇正好这么做的博客文章:在配备 32 GB 内存的 Mac M4 上运行 Qwen3.8-Flash-Next,速度比 llama.cpp 更快,达到 13.5 tok/s。

对于我使用编程智能体的方式来说,这还是太慢了,但这是个值得钻研的有趣问题。有一大批无法装入 MacBook 统一内存的 MoE 模型,都有望以尚可的速度运行。

其他引擎如何进行卸载?

在决定采用 Strata 之前,我研究了当 MoE 模型无法完整装入内存时,llama.cpp、vLLM 和 Transformers 分别会怎么做。有三个关键问题:专家存放在哪里、专家矩阵乘法在哪里运行,以及每生成一个 token 时需要传输什么?

llama.cpp 使用 mmap 映射 GGUF 文件,并可将专家保留在 CPU 上(使用 `--cpu-moe`、`--n-cpu-moe N`、`-ot "exps=CPU"`,也可以开启 `--fit` 让它替你选择)。这些专家的计算同样在 CPU 上进行,因此通过 PCIe 传输的只有激活值,权重从不传输。当专家能装入 RAM 时,这种方式表现很出色;装不下时,页面缓存就会频繁抖动。GPU 专家缓存(`--moe-cache-mib`)功能刚刚加入,但它会使计算图碎片化(每个 token 的 2 次切分变成 50 次),即使所有内容都能装入内存,性能也会下降约 10%。

vLLM 的 `--cpu-offload-gb N` 会将 N GB 权重放入锁页 RAM,内核通过 PCIe 就地读取它们。对于 MoE 层,读取的只有路由选中的专家,但不会缓存任何内容:热门专家在每个 token 上都要再次通过 PCIe 传输,而且没有磁盘层。默认情况下,卸载的权重还包括稠密层,而这些权重每个 token 都要读取;使用 `--cpu-offload-params experts` 可以把卸载范围限制为专家。这很适合 vLLM 的大批量处理,因为大批量本来就几乎会用到所有专家;但对单个 GPU 上的单个用户来说就没那么合适了。

Transformers 通过 Accelerate(`device_map="auto"`、`offload_folder`)逐个模块卸载:钩子会在前向传播前将模块权重复制到 GPU。对 MoE 来说,这个模块是某一层的整个专家库,因此每个 token 都会复制每个已卸载层的全部专家,尽管实际只会用到其中 8 个或 10 个。它没有缓存,也不了解路由。而在 Mac 上,CPU 和 GPU 共享同一块内存,因此“卸载到 CPU”根本无法释放内存。

我在一张 A10G(24 GB)上用 Qwen3.6-35B-A3B 测试了所有这些方案,系统 RAM 很充足,Harry Mellor 又使用更合适的参数重新测试了 vLLM:

只卸载专家可使 vLLM 的速度翻倍,而 FP8 还能进一步提升性能(每个专家的数据量减半,也能让更多模型权重留在 GPU 上)。vLLM 的另一个卸载后端会提前复制成组的层,但运行速度不到 1 tok/s。

如果专家能装入 RAM,llama.cpp 很难被击败。如果装不下,就必须只流式读取路由器选中的专家,并通过有界缓存进行管理;速度还要足够快,确保瓶颈在 SSD 而不是 Python,最好还能复用模型的高速专家内核。在配备 32 GB 内存的 Mac 上运行 Qwen3.8-Flash-Next 就属于这种情况,而 Transformers 无法开箱即用地做到这一点。

让 Qwen3.8-Flash-Next 通过 Transformers 在我的 32 GB Mac 上运行

Strata 在笔记本电脑上对我来说已经太慢,而 Transformers 短期内也不可能超过它。但 Accelerate 这条路径的表现差得太远,于是我想尝试直接修复 Transformers 本身的卸载机制,并把在我的笔记本电脑上运行这个大模型作为目标,尽管我知道,对于我的工作方式来说,它最终很可能还是太慢。

所有代码都是借助 AI 构建的:Transformers PR、模型专用软件包以及 Metal 内核。我的工作是选择要尝试的方案、阅读性能分析结果,并决定保留哪些内容。所有东西都放在一个 Space 中:`tarekziade/moe-expert-streaming`。

从小处着手

我从 OLMoE-1B-7B 开始,因为它能够装入内存,所以我可以将每个 token 都与原版 Transformers 的结果进行比较。

第一版:专家放在磁盘上,设备上设置一个 LRU 缓存,并用 Python 循环逐个运行专家。即使所有专家都已缓存,速度也只有 10.1 tok/s。原版约为 32 tok/s。I/O 没有问题,问题出在我的循环上:原版使用 `grouped_mm`,可在一个内核中运行某一层的所有专家。

解决办法,也是这个项目的核心思路,是把缓存变成一个槽位池:所有层共享一个预分配的设备张量,再为每一层维护一张从专家 id 到槽位的映射表。将路由器输出的专家 id 重新映射为槽位后,这个池看起来就像普通的专家库,因此 `grouped_mm` 可以直接在其上运行。完全不需要自定义专家矩阵乘法。这样速度提升到了 34.6 tok/s,而原版为 38.1 tok/s。

`experts_offload`

随后,我在 `huggingface/transformers#50717` 中把这个独立加载器变成了 `from_pretrained` 的一个选项。若要试用,请从该 PR 安装 Transformers:

接着,从 OLMoE 转向真正的目标 Qwen3.8-Flash-Next:

该仓库保存了项目转换脚本的输出:稠密权重、量化为 3 比特的专家权重,以及 n-gram 表。

映射到“disk”的专家会走流式路径,而不是 Accelerate 的卸载路径:加载器会跳过它们的张量,MoE 层则切换到卸载版实现。缓存未命中时由 8 个 I/O 线程读取,每个专家进行一次连续读取。接下来两层的路由器会基于当前隐藏状态提前运行,以预测需要预取哪些专家。专家可以离线量化,从而减少读取量。这适用于采用标准专家布局的 MoE 模型。

目前仍在与 Transformers 维护者讨论 API。device_map 形式正是这次讨论的产物,而量化专家可能会采用 #50245 的逐层量化方案,而不是使用自己的独立选项。

在 32 GB Mac 上运行 121 GB 的专家权重

Qwen3.8-Flash-Next 有 48 层,每层 512 个专家(激活 10 个),采用 FP8 时总计 121 GB。仅对它们进行流式读取还不够:模型还有一个 51 GB 的 n-gram 嵌入表,也需要自己的磁盘读取路径。因此:

专家量化为 3 比特:磁盘占用 49 GB,设备上缓存 12 GiB

稠密层采用 8 比特(约 5.4 GB,与 BF16 相比困惑度增加 0.2%)

n-gram 表保留在磁盘上,需要时读取相应行

转换大约需要 5 小时。加载后占用约 18 GiB,使用 6K 提示词时峰值达到 25.4 GiB。这差不多就是极限:我必须关闭浏览器,否则 macOS 就会开始使用交换空间。

模型特定的部分(n-gram 表、Metal 内核)位于 PR 之上的一个小型软件包 moe-expert-streaming 中。第一个版本的运行速度约为 10 tok/s。

随后,我在同一台 M5 上安装了 Strata,并使用相同的提示词:

Strata 0.1.60 使用 IQ3_XXS 专家权重。两者都采用贪心解码并启用思考,关闭 MTP 和推测草稿,预填充分块大小均为 1,024 个 token。完整配置和原始结果可在该 Space 的详情页面查看。

我还尝试了 vllm-metal,也就是通过 MLX 在 Apple GPU 上运行的 vLLM,它最近加入了专家卸载功能。与本项目类似,它通过有界缓存从 MLX 检查点流式读取路由选中的专家。但由于上述 n-gram 问题,它无法在 32 GB 内存上运行 Qwen3.8-Flash-Next:只有专家权重会被流式读取,n-gram 表仍驻留在内存中。Hub 上的 MLX 检查点中,这部分就占了 32 GB,尚未计入约 5 GB 的稠密层权重和任何专家缓存。

缩小差距

大部分时间并不是花在专家权重上。以下措施带来了帮助:

尽早提交 GPU 工作。PyTorch 在 MPS 上会把小型内核保留到下一次同步,因此 Python 工作时 GPU 会处于空闲状态。在每个块之后强制提交可带来 10% 的性能提升。这其实应该在 PyTorch 中修复。

为 macOS 上缺少快速路径的部分编写 Metal 内核:Gated DeltaNet 和 hyper-connections。

使用 Strata 自己的权重。我改用了 Strata 的 GGUF 权重,使每个 token 的稠密权重数据传输量从 5.4 GB 降至 3.9 GB,并将单个专家的大小从 2.15 MB 降至 1.75 MB,同时为每种专家大小设置独立的缓存池。

预填充方面,通过使用更大的分块,并在计算当前层时读取下一层的专家,速度从 68 tok/s 提升到约 228 tok/s。

长文档方面,只对索引器选中的块执行注意力计算,并使用原地增长的 KV 缓存,避免在生成每个 token 时都复制缓存。

缓存未命中方面:Strata 并不会将其隐藏起来,而是像我一样等待,而且没有哪种缓存策略明显优于 LRU。真正有帮助的是每层只读取一个预测的专家,因为否则 SSD 会处于空闲状态。

下面是目前生成一个 token 时一个 MoE 层的运行过程:

以下是在同一台 M5 上使用相同提示词,并完成这些优化后的最终结果:

短文本解码速度比 Strata 低约 6%,预填充则略快,而且全程都通过 Transformers 实现。

剩下的大部分开销来自主机往返,每个 token 约 10 ms。其中,同步后唤醒只占约 1 ms,其余时间则是 Python 排队提交下一层任务时 GPU 无活可干。Strata 会预先将整个 token 的工作全部排入队列;主机读取专家权重时,GPU 会在每一层等待一个 Metal 共享事件。PyTorch 并未暴露这种能力。我尝试用一个内核持续轮询由 CPU 写入的标志来模拟它,但 GPU 有时需要一秒钟才能看到写入,有时则永远看不到。真正的解决方案是在 PyTorch 的 MPS 流上实现一个原生算子,但这存在卡死风险,所以我没有构建它。

结论

它的运行速度约为 14 tok/s,已经接近 Strata,但对于我使用编程智能体的方式而言仍然太慢。真正的工作仍由 Orthrus 完成。

Transformers 没有击败 Strata,而要缩小最后约 6% 的差距,需要对整个技术栈进行更深层次的改动,首先就是控制逐层同步,而 PyTorch 目前并不提供这种能力。真正有意思的是它如何能如此接近:只流式读取路由选中的专家,使用可供 grouped_mm 原样运行的有界缓存,再加上几个有针对性的 Metal 内核。项目中没有 C++ 扩展:只有 Python、通过 torch.mps.compile_shader 在运行时编译的 Metal 内核,以及来自 Hub 的预构建内核。为这次实验编写的所有 Metal 内核现已发布到 Hub,项目会从那里加载它们。

不过,击败 Strata 从来都不是唯一目标。构建这个项目是从系统视角了解 MoE 和 LLM 工作原理的绝佳方式:路由究竟有多稀疏、专家缓存能带来多大收益、每个 token 的内存带宽消耗在何处,以及主机和 GPU 有多少时间都在相互等待。Transformers 让所有这些内容都很容易逐个模块地探索。

通用的专家流式实现位于 huggingface/transformers#50717,基准测试结果则在该 Space 中。欢迎对这一方案和 API 提出反馈。

感谢 Pedro、Lysandre 和 Arthur 提供的宝贵反馈,也感谢 Harry 协助测试 vLLM。

最后,感谢 Niko Veit 开发 Strata。Strata 为消费级硬件上的专家流式处理树立了标杆,正是有了这些可供追赶的数据,才推动这项工作走到了现在这一步。

本文提及的模型 6

ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF

tarekziade/Qwen3.8-Flash-Next-expert-streaming

本文提及的 Space 1

Transformers 中的 MoE 专家流式处理

使用流式专家通过 Qwen3.8 生成文本

我们博客中的更多文章

+7

欢迎 Beam:一个可由你拥有、定制和扩展的 501B 开放模型

本文提及的模型 6

ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF

tarekziade/Qwen3.8-Flash-Next-expert-streaming

本文提及的 Space 1

Transformers 中的 MoE 专家流式处理

使用流式专家通过 Qwen3.8 生成文本

来源

Hugging Face