Hao AI Lab 开源 JetSpec++ 投机解码，最高提速 7.45 倍
[4/5] Bigger targets leave more room. On Qwen3.8-27B, hiding the draft saves less, because verification dominates the round. But the same long window fits three
Hao AI Lab 开源 JetSpec++，通过因果并行草稿与隐藏状态预测器，将草稿生成与验证流水线化，在 Qwen3-8B 和 Qwen3.8-27B 上分别实现 1,361 TPS 和 367 TPS，较 DSpark 最高提速 1.54 倍、较自回归解码提速 7.45 倍且保持无损。在 Qwen3.8-27B 上，每轮接受的 token 数较 DSpark 提升 22%（8B 为 6%）；仅用 16 块训练即可外推到 32 块草稿，MATH-500 上每轮 14.55（8B）和 14.05（27B）个 token，DSpark 降至 8.66 和 8.49。结合 NVFP4 与 kernel 优化，两块 GB200 上 Qwen3-8B 超 4,000 TPS、Qwen3.8-27B 超 900 TPS。
正文 · AI 翻译
[4/5] 更大的目标会留下更多空间。在 Qwen3.8-27B 上，隐藏草稿带来的收益更小，因为验证主导了这一轮。但同样的长窗口可以容纳三次细化迭代而非一次，因此增益转移到了接受率上：在 27B 上，每轮接受的 token 数比 DSpark 提升 22%，而 8B 上为 6%（GSM8K，按实际服务配置）。
它还能外推。JetSpec++ 在 16 个块的规模上训练，却能草拟 32 个块并取得增益：在 8B 上 MATH-500 每轮 14.55 个 token，在 27B 上为 14.05 个，而 DSpark 则降至 8.66 和 8.49。
我们非常期待听到您的反馈！