先了解这件事
AI 综述
2026年11月19日,LMSYS公布对DeepSeek-V4.1-Flash在H20-3e上的预填充与解码分离服务优化。与TP4基线相比,平均端到端延迟降低65.5%,输出吞吐量提升至2.91倍;最终配置将平均延迟从13.63秒降至4.70秒,输出吞吐量从847提升至2,465 tokens/s。LMSYS称,主要收益来自预填充CP、解码DP和FP8 DeepGEMM,并给出了共置服务结果、逐项消融数据及基于SGLang的复现命令。目前没有其他有证据的发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月19日
LMSYS Blog一手
LMSYS 解析 DeepSeek-V4.1-Flash 在 H20-3e 上的 PD 与共置服务优化
LMSYS 优化了 DeepSeek-V4.1-Flash 在 H20-3e 上的预填充与解码分离服务,相比 TP4 基线将平均端到端延迟降低 65.5%,输出吞吐量提升至 2.91×。最终配置把平均延迟从 13.63 s 降至 4.70 s,输出吞吐量从 847 提升至 2,465 tokens/s,主要收益来自预填充 CP、解码 DP 和 FP8 DeepGEMM。文章还给出了共置服务结果、逐项消融数据及基于 SGLang 的复现命令。
AI 热点