先了解这件事
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
AI 根据公开报道生成
最新进展 · 正式报道
Hao AI Lab 开源 JetSpec++ 投机解码，最高提速 7.45 倍事件进展
1 个已确认进展
- 来源：UCSD Hao AI Lab
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月31日
UCSD Hao AI Lab一手
Hao AI Lab 开源 JetSpec++ 投机解码，最高提速 7.45 倍
Hao AI Lab 开源 JetSpec++，通过因果并行草稿与隐藏状态预测器，将草稿生成与验证流水线化，在 Qwen3-8B 和 Qwen3.8-27B 上分别实现 1,361 TPS 和 367 TPS，较 DSpark 最高提速 1.54 倍、较自回归解码提速 7.45 倍且保持无损。在 Qwen3.8-27B 上，每轮接受的 token 数较 DSpark 提升 22%（8B 为 6%）；仅用 16 块训练即可外推到 32 块草稿，MATH-500 上每轮 14.55（8B）和 14.05（27B）个 token，DSpark 降至 8.66 和 8.49。结合 NVFP4 与 kernel 优化，两块 GB200 上 Qwen3-8B 超 4,000 TPS、Qwen3.8-27B 超 900 TPS。
UCSD Hao AI Lab一手
Hao AI Lab 开源 JetSpec++ 模型、代码与推理引擎
Hao AI Lab 宣布 JetSpec++ 的模型、代码和推理引擎全部开源，并附上论文、代码与 Hugging Face 链接。该方法把草稿生成与验证流水线化，在 Qwen3-8B 上相对 DSpark 最高 1.54 倍、相对自回归解码 7.45 倍端到端加速，BF16 下达到 1,361 TPS；配合 NVFP4 与 kernel 优化，在两块 GB200 上超过 4,000 TPS。
UCSD Hao AI Lab一手
Hao AI Lab 开源 JetSpec++ 投机解码框架
UCSD Hao AI Lab 推出 JetSpec++，通过因果并行草稿与验证流水线化，在 Qwen3-8B 上实现 1.54 倍于 DSpark、7.45 倍于自回归解码的无损端到端加速，BF16 下达 1,361 TPS。GSM8K 上 Qwen3-8B 每轮耗时从 DSpark 的 9.92 ms 降至 6.84 ms，草稿时间由 3.76 ms 压缩到 0.61 ms。模型、代码与推理引擎已全部开源。
UCSD Hao AI Lab一手
Hao AI Lab 提出 JetSpec++：将草稿生成与验证流水化，Qwen3-8B 上达 1.54 倍加速
Hao AI Lab 提出 JetSpec++，通过因果并行草稿、隐藏状态预测器和锚点 token 解码器，把草稿生成与验证流水化，在 Qwen3-8B 和 Qwen3.8-27B 上实现无损加速。相比 DSpark，端到端最高加速 1.54 倍，相比自回归解码加速 7.45 倍，BF16 下分别达到 1,361 TPS 和 367 TPS；配合 NVFP4 与内核优化，在两块 GB200 上超过 4,000 TPS 和 900 TPS。7 个基准上每轮接受 8.94 个 token，DSpark 为 6.89 个；模型、代码和推理引擎已全部开源。
UCSD Hao AI Lab一手
Hao AI Lab 开源 JetSpec++ 投机解码框架
UCSD Hao AI Lab 开源 JetSpec++，通过因果并行草稿、隐藏状态预测器和锚点 token 解码器，把草稿阶段与验证流水线化，在 Qwen3-8B 上实现 1,361 TPS、较 DSpark 最高 1.54 倍端到端加速、较自回归解码 7.45 倍加速且保持无损。结合 NVFP4 与 kernel 优化后，Qwen3-8B 超过 4,000 TPS、Qwen3.8-27B 超过 900 TPS（两块 GB200 GPU）。模型、代码与推理引擎已全部开源。