Hao AI Lab 开源 JetSpec++ 模型、代码与推理引擎
[5/5] JetSpec++ models, code and inference engine are fully open-sourced. Please give it a try and let us know what you think in the comments!
AI 导读
Hao AI Lab 宣布 JetSpec++ 的模型、代码和推理引擎全部开源，并附上论文、代码与 Hugging Face 链接。该方法把草稿生成与验证流水线化，在 Qwen3-8B 上相对 DSpark 最高 1.54 倍、相对自回归解码 7.45 倍端到端加速，BF16 下达到 1,361 TPS；配合 NVFP4 与 kernel 优化，在两块 GB200 上超过 4,000 TPS。
推荐理由
AI 评分 59
原文给出了 JetSpec++ 的完整开源入口和与 DSpark 的逐轮延迟对比，读者可据此判断投机解码的工程收益。
主题
正文
[5/5] JetSpec++ models, code and inference engine are fully open-sourced. Please give it a try and let us know what you think in the comments!
Check out our paper and the link below for more details!
Paper: https://t.co/GY4W71d7LI Code: https://t.co/Oj92K5fwAR HF: https://t.co/tSXtfsLUmd