先了解这件事
AI 综述
2026年1月15日,SGLang 推出高度优化的流水线并行(PP)实现,用于应对超长上下文推理。该实现采用分块流水线并行、异步 P2P 通信和动态分块机制。据 LMSYS Blog 介绍,在 H20 集群上,PP4 TP8 部署使 DeepSeek-V3.1 的 Prefill 吞吐量达到 TP8 的 3.31 倍,比 TP32 方案高出 30.5%,同时 TTFT 最多降低 67.9%,强扩展效率达 82.8%。该实现兼容 PD 分离与 HiCache。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
SGLang 流水线并行：扩展至百万 token 上下文事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
1月15日
LMSYS Blog一手
SGLang 流水线并行：扩展至百万 token 上下文
SGLang 发布高度优化的流水线并行（PP）实现，通过分块流水线并行、异步 P2P 通信和动态分块机制应对超长上下文推理。在 H20 集群上，PP4 TP8 部署使 DeepSeek-V3.1 的 Prefill 吞吐量达到 TP8 的 3.31 倍，比 TP32 方案高出 30.5%，同时 TTFT 最多降低 67.9%，强扩展效率达 82.8%。该实现兼容 PD 分离与 HiCache。