先了解这件事
2026年9月9日,NVIDIA Dynamo 采用编码预填充解码(EPD)解耦优化多模态模型推理服务,将视觉编码与 LLM prefill、decode 阶段拆开。据 NVIDIA Developer 介绍,在图像密集提示、短到中等输出和量化 MoE 模型上,该方案实现最高 5 倍更快的首 token 时延(TTFT)和 7 倍更快的端到端响应时间。在混合文本与多模态流量中,EPD 消除队头阻塞,使文本请求平均 TTFT 降低 42.2%、图像请求降低 30.8%;将 LLM 权重量化为 NVFP4 而视觉编码器保持 BF16,可把共置 EPD 的 goodput 从聚合服务的 1.78 倍提升到 2.64 倍。同时,当 decode 主导延迟或大型稠密模型削弱视觉编码器算力占比时,收益会缩小。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月10日
NVIDIA Developer · Generative AI一手
NVIDIA Dynamo 何时用 Encode-Prefill-Decode 分离加速多模态模型服务
NVIDIA Dynamo 通过 encode-prefill-decode（EPD）分离，将视觉编码与 LLM prefill、decode 阶段拆开，在图像密集提示、短到中等输出和量化 MoE 模型上实现最高 5 倍更快的首 token 时延（TTFT）和 7 倍更快的端到端响应时间。在混合文本与多模态流量中，EPD 消除队头阻塞，使文本请求平均 TTFT 降低 42.2%、图像请求降低 30.8%；将 LLM 权重量化为 NVFP4 而视觉编码器保持 BF16，可把共置 EPD 的 goodput 从聚合服务的 1.78 倍提升到 2.64 倍。当 decode 主导延迟或大型稠密模型削弱视觉编码器算力占比时，收益会缩小。