先了解这件事
AI 综述
2025年10月16日,vLLM宣布其TPU支持改由tpu-inference驱动,通过统一的JAX到XLA降低路径兼容PyTorch与JAX,无需修改模型代码时吞吐量提高约20%。新版默认采用SPMD,并引入RPA v3,支持任意模型规格、量化数据类型和张量并行;其在Trillium(v6e)上的吞吐量较RPA v2提高约10%。目前整体性能已接近2025年2月首个TPU原型的5倍,同时支持稠密模型、多模态输入、前缀缓存、分块预填充和结构化解码等能力。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM TPU 推出统一后端，以 JAX 路径支持 PyTorch 和 JAX事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月16日
vLLM 官方博客一手
vLLM TPU 推出统一后端，以 JAX 路径支持 PyTorch 和 JAX
vLLM TPU 现由 tpu-inference 驱动，通过统一的 JAX→XLA 降低路径支持 PyTorch 和 JAX，并在无需修改模型代码时将吞吐量提高约 20%。新版默认采用 SPMD，引入支持任意模型规格、量化 dtype 和张量并行的 RPA v3，其在 Trillium（v6e）上的吞吐量较 RPA v2 提高约 10%。当前整体性能已接近 2025 年 2 月首个 TPU 原型的 5x，并支持稠密模型、多模态输入、前缀缓存、分块预填充和结构化解码等能力。