Hao AI Lab开源JetSpec++模型、代码与推理引擎
2026年10月31日,UCSD Hao AI Lab宣布将JetSpec++的模型、代码和推理引擎全部开源,并附上论文、代码与Hugging Face链接。该投机解码框架通过因果并行草稿、隐藏状态预测器和锚点token解码器,把草稿生成与验证流水线化。据其公布的数据,在Qwen3-8B上,JetSpec++实现1,361 TPS,相对DSpark最高1.54倍、相对自回归解码7.45倍端到端加速,且保持无损;结合NVFP4与kernel优化后,在两块GB200 GPU上Qwen3-8B超过4,000 TPS、Qwen3.8-27B超过900 TPS。目前尚无后续进展。
匹配字段摘要
