AI 热点

热点事件

LMSYS优化DeepSeek-V4.1-Flash在H20-3e上的解耦式服务

1 篇正式报道1 条事件动态更新于 11月19日 08:00

先了解这件事

AI 综述

2026年11月19日,LMSYS公布对DeepSeek-V4.1-Flash在H20-3e上的预填充与解码分离服务优化。与TP4基线相比,平均端到端延迟降低65.5%,输出吞吐量提升至2.91倍;最终配置将平均延迟从13.63秒降至4.70秒,输出吞吐量从847提升至2,465 tokens/s。LMSYS称,主要收益来自预填充CP、解码DP和FP8 DeepGEMM,并给出了共置服务结果、逐项消融数据及基于SGLang的复现命令。目前没有其他有证据的发展。

AI 根据公开报道生成

最新进展 · 正式报道

LMSYS 解析 DeepSeek-V4.1-Flash 在 H20-3e 上的 PD 与共置服务优化

事件进展

1 个已确认进展

  1. LMSYS优化DeepSeek-V4.1-Flash解耦式服务

    来源:LMSYS Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月19日

  1. LMSYS Blog一手

    LMSYS 解析 DeepSeek-V4.1-Flash 在 H20-3e 上的 PD 与共置服务优化

    LMSYS 优化了 DeepSeek-V4.1-Flash 在 H20-3e 上的预填充与解码分离服务,相比 TP4 基线将平均端到端延迟降低 65.5%,输出吞吐量提升至 2.91×。最终配置把平均延迟从 13.63 s 降至 4.70 s,输出吞吐量从 847 提升至 2,465 tokens/s,主要收益来自预填充 CP、解码 DP 和 FP8 DeepGEMM。文章还给出了共置服务结果、逐项消融数据及基于 SGLang 的复现命令。

关联事件

  1. 相关事件OpenAI发布GPT-6.2 Astra模型
  2. 相关事件DeepSeek发布DeepSeek-V4.1-Flash-1017
  3. 相关事件Anthropic发布Claude Opus 5.5
  4. 相关事件DeepSeek-V4支持百万上下文