先了解这件事
AI 综述
2026年8月21日,LMSYS 公布在 4 块 NVIDIA Blackwell GPU 上对 Ling-3.0-flash 的 batch-1 投机解码优化结果。其 NEXTN/MTP 路径将单请求吞吐从 288 tok/s 提升到 606 tok/s,平均 TPOT 从 3.33 ms 降至 1.53 ms。同一技术栈下的 DSpark 置信度调度投机解码器在 1000 请求测试中达到 1120 tok/s、平均 TPOT 0.78 ms、接受长度 9.95,相比 NEXTN 平均 TPOT 低 1.9 倍。LMSYS 说明的优化手段包括主机预运行、PDL 链式调度、算子融合、KDA 重调,以及将 router gate 和 lm_head 从 fp32 改为 bf16。目前该故事尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
8月21日
LMSYS Blog一手
LMSYS 在 Blackwell 上优化 Ling-3.0-flash 投机解码：单请求 TPOT 降至 1.53 ms
LMSYS 在 4 张 NVIDIA Blackwell GPU 上优化 Ling-3.0-flash 的 batch-1 投机解码，NEXTN/MTP 路径将单请求吞吐从 288 tok/s 提升到 606 tok/s，平均 TPOT 从 3.33 ms 降到 1.53 ms。基于同一技术栈的 DSpark 置信度调度投机解码器在 1000 请求测试中达到 1120 tok/s、平均 TPOT 0.78 ms、接受长度 9.95，相比 NEXTN 平均 TPOT 低 1.9 倍。优化手段包括主机预运行、PDL 链式调度、算子融合、KDA 重调，以及将 router gate 和 lm_head 从 fp32 改为 bf16。