先了解这件事
AI 综述
2026年6月1日,LMSYS 发布博客称其通过 Dynamo 与 SGLang 实现了异构 Encode-Prefill-Decode(EPD)分离,将 VLM 的视觉编码任务卸载到 CPU(如头节点 CPU)。据该博客,在负载下 TTFT、TPOT 和吞吐量均获提升:在 Intel Xeon 6747P 与 5x L40S 配置、8 张 1080p 图像、QPS 1.0-2.0 条件下,P99 TTFT 和请求吞吐量提升约 1.2x-1.3x,P99 TPOT 降低约 1.3x-30x。Dynamo 路由器新增设备感知加权路由模式(PR #7215),以能力比 R 在 CPU 与 GPU 池间分配请求。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
LMSYS 用异构 CPU + GPU EPD 分离提升 VLM 推理服务事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月1日
LMSYS Blog一手
LMSYS 用异构 CPU + GPU EPD 分离提升 VLM 推理服务
LMSYS 通过 Dynamo 与 SGLang 实现异构 Encode-Prefill-Decode（EPD）分离，将 VLM 的视觉编码任务卸载到 CPU（如头节点 CPU），在负载下 TTFT、TPOT 和吞吐量均获提升。在 Intel Xeon 6747P 与 5x L40S 配置、8 张 1080p 图像、QPS 1.0-2.0 下，P99 TTFT 和请求吞吐量提升约 1.2x-1.3x，P99 TPOT 降低约 1.3x-30x。Dynamo 路由器新增设备感知加权路由模式（PR #7215），以能力比 R 在 CPU 与 GPU 池间分配请求。