Hao AI Lab 开源 JetSpec++ 投机解码框架
[2/5] With JetSpec++, drafting time is almost removed from the critical path. Walltime reported below shows how latency reduces for each draft-verification roun
AI 导读
UCSD Hao AI Lab 推出 JetSpec++，通过因果并行草稿与验证流水线化，在 Qwen3-8B 上实现 1.54 倍于 DSpark、7.45 倍于自回归解码的无损端到端加速，BF16 下达 1,361 TPS。GSM8K 上 Qwen3-8B 每轮耗时从 DSpark 的 9.92 ms 降至 6.84 ms，草稿时间由 3.76 ms 压缩到 0.61 ms。模型、代码与推理引擎已全部开源。
正文 · AI 翻译
[2/5] 借助 JetSpec++，草稿生成时间几乎从关键路径中消失。下方报告的挂钟时间展示了每一轮草稿-验证的延迟如何降低，以及其在 GSM8K 上的细分： • Qwen3-8B：DSpark 9.92 ms（含 3.76 ms 草稿时间），JetSpec++ 6.84 ms（含 0.61 ms 草稿时间） • Qwen3.8-27B：DSpark 31.88 ms（4.46 ms 草稿时间），JetSpec++ 28.47 ms（0.71 ms 草稿时间）
关键在于 JetSpec++ 具备有效的预见性草稿：它在 92.9%（8B）和 89.0%（27B）的轮次中正确猜中验证结果，因此验证结束时下一块草稿已经生成完毕。