Hao AI Lab 提出 JetSpec++：将草稿生成与验证流水化，Qwen3-8B 上达 1.54 倍加速
[3/5] The rest of spare time waiting for verification outcome now goes into refining a better draft. While the target verifies, JetSpec++ corrects its own paral
AI 导读
Hao AI Lab 提出 JetSpec++，通过因果并行草稿、隐藏状态预测器和锚点 token 解码器，把草稿生成与验证流水化，在 Qwen3-8B 和 Qwen3.8-27B 上实现无损加速。相比 DSpark，端到端最高加速 1.54 倍，相比自回归解码加速 7.45 倍，BF16 下分别达到 1,361 TPS 和 367 TPS；配合 NVFP4 与内核优化，在两块 GB200 上超过 4,000 TPS 和 900 TPS。7 个基准上每轮接受 8.94 个 token，DSpark 为 6.89 个；模型、代码和推理引擎已全部开源。
推荐理由
AI 评分 54
原文给出了与 DSpark 的端到端加速比和每轮接受 token 数对比，可据此判断投机解码流水化的实际收益。
主题
正文 · AI 翻译
[3/5] 现在，等待验证结果的剩余空闲时间被用于完善更好的草稿。在目标模型进行验证的同时，JetSpec++ 会修正自己并行的草稿：它依据自身的猜测重新起草，刷新其预测的上下文，并修正由目标模型最后几层构建的解码器出现分歧的第一个 token。
在 7 个基准上，每轮接受 8.94 个 token，而 DSpark 为 6.89 个。