Hao AI Lab 提出 JetSpec++：将草稿生成与验证流水化，Qwen3-8B 上达 1.54 倍加速
[3/5] The rest of spare time waiting for verification outcome now goes into refining a better draft. While the target verifies, JetSpec++ corrects its own paral
Hao AI Lab 提出 JetSpec++，通过因果并行草稿、隐藏状态预测器和锚点 token 解码器，把草稿生成与验证流水化，在 Qwen3-8B 和 Qwen3.8-27B 上实现无损加速。相比 DSpark，端到端最高加速 1.54 倍，相比自回归解码加速 7.45 倍，BF16 下分别达到 1,361 TPS 和 367 TPS；配合 NVFP4 与内核优化，在两块 GB200 上超过 4,000 TPS 和 900 TPS。7 个基准上每轮接受 8.94 个 token，DSpark 为 6.89 个；模型、代码和推理引擎已全部开源。
推荐理由
AI 评分 54
原文给出了与 DSpark 的端到端加速比和每轮接受 token 数对比，可据此判断投机解码流水化的实际收益。
主题
正文
[3/5] The rest of spare time waiting for verification outcome now goes into refining a better draft. While the target verifies, JetSpec++ corrects its own parallel draft: it redrafts on its own guesses, refreshes its predicted context, and fixes the first token where a decoder built from the target's last layers disagrees.
8.94 accepted tokens per round across 7 benchmarks, vs 6.89 for DSpark.