Polymathic AI 与普林斯顿大学发布 FlashMap：用流映射草稿器实现 6.14 倍 LLM 解码加速

将我们添加为 Google 首选来源

来自 Polymathic AI、普林斯顿大学、USC ISI、纽约大学和 Flatiron Institute 的研究人员发布了 FlashMap。FlashMap 投机解码用连续流映射替代了离散扩散草稿器。它通过 1 次前向传播草拟一个完整的 16 token 块。该块中的 token 彼此保持一致。在 Qwen3-8B 上，研究团队报告在 GSM8K 上最高实现 6.14 倍无损加速。Qwen3-8B 和 Qwen3-4B 的草稿器权重已在 Hugging Face 上发布，并提供 vLLM 和 SGLang 插件。

TL;DR

规模：0.5B 参数草稿器（Qwen3-8B 为 500M，Qwen3-4B 为 475M）；草拟 K = 16 个 token 的块。

运行于：与目标模型相同的 GPU。论文中的加速数据使用 1 块 NVIDIA H200 NVL，并发数为 1，bf16 精度。

性能：在 Qwen3-8B 上测试过的最快草稿器，平均比重新训练的 DFlash 高约 7%。

最佳：在 GSM8K 上、温度 0 时实现 6.14 倍加速（接受长度 7.69 个 token）。

最差：在 Alpaca 上、温度 1 时实现 2.28 倍加速。在 Qwen3-4B 上（温度 0），它在 9 项任务中的 4 项上落后于 DFlash。

什么是 FlashMap？

FlashMap 是一种投机解码草稿器，可在 1 步内将高斯噪声映射为 token 块。小型草稿器提出 K 个 token。随后目标模型在 1 次并行传播中检查全部 K 个 token，并保留最长的匹配前缀。输出与目标模型原本会生成的结果完全一致。

TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助

速度取决于 2 件事：草拟的 token 中有多少被接受，以及草拟这些 token 的成本有多低。EAGLE-3 以自回归方式草拟，因此成本随块长度增长。DFlash 通过块扩散在 1 次传播中草拟整个块。

为什么扩散草稿器的接受率会下降？

DFlash 独立预测块中的每个槽位。研究团队称之为因子化近似。设想一个续写可能是“new york”或“san diego”，两者概率相同。独立草稿器有一半时间会提出“new diego”或“san york”。目标模型会在第 2 个槽位拒绝这些结果。

FlashMap 基于 Flow Map Language Models 构建。每个噪声样本映射到 1 个完整块。噪声联合为每个槽位选择模式。

FlashMap 如何工作？

草稿器是一个 6 块扩散 transformer（DiT），嵌入维度为 2048，具有 16 个注意力头。它读取目标模型第 1、9、17、25 和 33 层的隐藏状态。嵌入矩阵和 LM head 从目标模型复制并保持冻结。

训练分 2 个阶段进行：

流教师：在 one-hot token 块上的连续流，使用交叉熵训练。时间重参数化处理 Qwen3 的 151,936 token 词表。

流映射学生：半群蒸馏将流转化为 2 时间去噪器。它可在 1 步内从噪声跳转到数据。

两个草稿器均在来自 Open-PerfectBlend 的 500K 样本上训练。所有模型和消融实验的总计算量约为 4,600 GPU 小时，使用 H200。

FlashMap 在基准测试中表现如何？

研究团队在相同数据和设置上重新训练了 EAGLE-3 和 DFlash。测试覆盖数学、代码和聊天领域的 9 个基准，温度为 0 和 1。

速度：1 步 FlashMap 在 Qwen3-8B 的每项任务上、两种温度下都是最快的草稿器。

准确率：1 步 FlashMap 在 18 种设置中的 15 种上接受长度优于 DFlash。它的参数约少一半。

聊天场景提升最大：温度 0 时，相对 DFlash 在数学上提升 5.5%，在聊天上提升 11.1%。

2 步模式：接受长度在 18 种设置中的 18 种上均优于 DFlash，平均提升 10%。

EAGLE-3：温度 1 时，其接受长度高 9%，但运行速度慢 35%。

洗牌测试用于检验草稿是否利用了真实的 token 间结构。在 2 步时，FlashMap 恢复了 16 步教师模型的大部分联合结构增益。在 1 步时，它仅保留了一小部分。将 4 个噪声样本作为树进行草拟，平均使加速提升 11%。

对比：FlashMap 与其他投机解码草稿器

特性FlashMapDFlashEAGLE-3DSpark

草拟方式连续流映射，1 或 2 次传播块扩散，1 次传播自回归，树半自回归

Token 间依赖有，块内联合无，逐槽独立有，顺序有，轻量顺序模块

草稿器规模（Qwen3-8B）500M1B302M（根据 FlashMap 论文重新训练）未披露

主要宣称（自家来源）最高 6.1 倍在 Qwen3-8B 上最高 6.17 倍最高 6.5 倍相比 MTP-1 每用户快 60% 至 85%

Qwen3-8B 平均加速，T=0（匹配，FlashMap 论文）4.36 倍4.07 倍2.55 倍未测试

GSM8K 加速，T=0（匹配）6.14 倍5.77 倍3.20 倍未测试

权重许可证Apache-2.0MITApache-2.0（代码）未披露

服务Transformers、vLLM、SGLangTransformers、vLLM、SGLangSGLang 等DeepSeek-V4 服务

平均加速由 Marktechpost 根据 FlashMap 论文图 1(c) 计算。匹配行使用作者重新训练的基线。

如何部署 FlashMap？

flashmap 包仅需 torch 和 transformers>=4.56。使用 uv pip install flashmap 安装。spec_generate 调用会在 1 块 GPU 上同时运行草稿器和目标模型。

对于服务部署，项目页面给出 2 种路径：

vLLM 0.31：在 --speculative-config 中传入草稿器，并将 num_speculative_tokens 设为 16。

SGLang 0.5.20：使用 --speculative-algorithm DSPARK 并指定 FlashMap 草稿路径。

设置 num_steps=2 可以牺牲部分速度换取更高接受率。对于温度高于 0 的采样，vLLM 需要 "draft_sample_method": "probabilistic"。

关键要点

FlashMap 通过连续流映射在一次前向传播中联合草拟 16 个 token。

在 Qwen3-8B 上使用 0.5B 草稿器实现最高 6.14 倍无损加速。

在全部 9 个 Qwen3-8B 基准测试上均快于重新训练的 DFlash。

2 步模式在整个块内保持接受率平稳。

权重采用 Apache-2.0 许可证，代码采用 MIT 许可证，并提供 vLLM 和 SGLang 插件。

Asif Razzaq网站 | + 文章简介 ⮌

Asif RazzaqPrime Intellect 发布 Prime Mega MoE：可训练融合 MoE 内核，前向传播快 3.11 倍

Asif RazzaqNVIDIA 发布 Nemotron 3.5 Transcribe：面向 40 种语言转录的开源 30B MoE 模型，约 4B 活跃参数

$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助

Polymathic AI 与普林斯顿大学发布 FlashMap：用流映射草稿器实现 6.14 倍 LLM 解码加速

主题

标签

正文 · AI 翻译