先了解这件事
AI 综述
AWS 于 2026 年 10 月 20 日介绍 vLLM 新增的双向 KV 缓存传输机制:在后续轮次中,decode 节点把已算好的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上,该机制使 Qwen3-32B 的 TTFT 最高改善 1.6 倍,zai-org/GLM-5-FP8 最高改善 3.3 倍。该能力最初在 AWS Trainium 集群上验证并贡献给 vLLM,作为与加速器无关的特性,需配合 KV-cache-aware 路由器协调跨轮复用。目前尚无后续发展。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 双向 KV 传输如何改善多轮智能体工作负载的 TTFT事件进展
1 个已确认进展
- 来源：AWS Machine Learning
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月20日
AWS Machine Learning一手
vLLM 双向 KV 传输如何改善多轮智能体工作负载的 TTFT
vLLM 新增双向 KV 传输，让 decode 节点在后续轮次把已算好的 KV 缓存回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上，该机制使 Qwen3-32B 的 TTFT 最高改善 1.6 倍、zai-org/GLM-5-FP8 最高改善 3.3 倍。该能力最初在 AWS Trainium 集群上验证并贡献给 vLLM，作为与加速器无关的特性，需配合 KV-cache-aware 路由器协调跨轮复用。