Hao AI Lab 开源 JetSpec++ 投机解码框架
Introducing JetSpec++: we find causal parallel drafting paired with hidden states predictor and anchor token decoder can effectively draft the next future block
UCSD Hao AI Lab 开源 JetSpec++，通过因果并行草稿、隐藏状态预测器和锚点 token 解码器，把草稿阶段与验证流水线化，在 Qwen3-8B 上实现 1,361 TPS、较 DSpark 最高 1.54 倍端到端加速、较自回归解码 7.45 倍加速且保持无损。结合 NVFP4 与 kernel 优化后，Qwen3-8B 超过 4,000 TPS、Qwen3.8-27B 超过 900 TPS（两块 GB200 GPU）。模型、代码与推理引擎已全部开源。
正文 · AI 翻译
隆重介绍 JetSpec++：我们发现，因果并行草稿搭配隐藏状态预测器和锚点 token 解码器，可以在当前块被验证之前有效地草拟下一个未来块，并将节省出的时间用于自我精炼。
这使得草稿过程能够与验证流水线化，从而几乎隐藏其全部草稿开销。
JetSpec++ 在保持无损的前提下，相较 DSpark 实现最高 1.54 倍的端到端加速，相较自回归解码实现 7.45 倍加速，在 BF16 下于 Qwen3-8B 上达到 1,361 TPS，于 Qwen3.8-27B 上达到 367 TPS。
借助 NVFP4 与 kernel 优化，JetSpec++ 在两块 GB200 GPU 上进一步于 Qwen3-8B 上超过 4,000 TPS，于 Qwen3.8-27B 上超过 900 TPS。⚡️
项目页面：https://t.co/tuhf2KPfsW