先了解这件事
AI 综述
2025年2月17日,vLLM介绍了在多GPU或多节点环境中部署超出单卡容量大模型的分布式推理方案。该方案结合张量并行与流水线并行:张量并行能够降低延迟,但依赖高带宽互连;流水线并行的通信开销较低,更适合跨节点部署。案例显示,从TP=1扩展至TP=2后,KV cache block增加13.9倍,token吞吐量提升3.9倍。目前输入材料未提供此后的新进展。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 分布式推理中的张量并行与流水线并行事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
2月17日
vLLM 官方博客一手
vLLM 分布式推理中的张量并行与流水线并行
vLLM 介绍了如何结合张量并行和流水线并行，在多 GPU 或多节点上部署超出单卡容量的大模型。张量并行可降低延迟但依赖高带宽互连，流水线并行通信开销较低且更适合跨节点部署。案例中从 TP=1 扩展到 TP=2 后，KV cache block 增加 13.9x，token 吞吐量提升 3.9x。