Hao AI Lab 开源 JetSpec++ 模型、代码与推理引擎
[5/5] JetSpec++ models, code and inference engine are fully open-sourced. Please give it a try and let us know what you think in the comments!
AI 导读
Hao AI Lab 宣布 JetSpec++ 的模型、代码和推理引擎全部开源，并附上论文、代码与 Hugging Face 链接。该方法把草稿生成与验证流水线化，在 Qwen3-8B 上相对 DSpark 最高 1.54 倍、相对自回归解码 7.45 倍端到端加速，BF16 下达到 1,361 TPS；配合 NVFP4 与 kernel 优化，在两块 GB200 上超过 4,000 TPS。
推荐理由
AI 评分 59
原文给出了 JetSpec++ 的完整开源入口和与 DSpark 的逐轮延迟对比，读者可据此判断投机解码的工程收益。
主题
正文 · AI 翻译
[5/5] JetSpec++ 的模型、代码和推理引擎已全部开源。欢迎试用，并在评论区告诉我们你的想法！
更多详情请查看我们的论文及下方链接！
论文：https://t.co/GY4W71d7LI 代码：https://t.co/Oj92K5fwAR HF：https://t.co/tSXtfsLUmd