先了解这件事
AI 综述
AWS 于 2026 年 10 月 20 日推出基于推送的 NIXL 连接器,用于分离式推理中的 KV 传输。该连接器把 prefill 之后的传输协调与建立过程移出关键路径:在 pull 模式下,由 decode 实例发起 NIXL READ 的串行步骤,现改为由 prefill 侧后台线程发起 NIXL WRITE。AWS 表示,在 1P1D 的 Amazon EC2 P5en + EFA 部署上,Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群上构建验证,随后作为与加速器无关的特性贡献给 vLLM。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT事件进展
1 个已确认进展
- 来源：AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月20日
AWS Machine Learning一手
vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增基于 push 的 NIXL connector，把 prefill 后的传输协调与建立过程移出关键路径，在 1P1D 的 Amazon EC2 P5en + EFA 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群上构建验证，随后作为与加速器无关的特性贡献给 vLLM，pull 模式下由 decode 实例发起 NIXL READ 的串行步骤被改为由 prefill 侧后台线程发起 NIXL WRITE。