先了解这件事
AI 综述
2025年1月27日,vLLM发布V1核心架构升级Alpha版,重构调度器、KV cache管理器、Worker、采样器和API服务器,吞吐量较V0最高提升至1.7倍。V1默认启用低开销前缀缓存,并增强多模态模型支持;用户可设置VLLM_USE_V1=1,在不修改现有API的情况下启用。目前该版本仅支持Ampere或更新的NVIDIA GPU,尚不支持LoRA、结构化解码、推测解码和流水线并行等功能。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM V1 Alpha 发布，重构核心架构并将吞吐量提升至多 1.7x事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
1月27日
vLLM 官方博客一手精选
vLLM V1 Alpha 发布，重构核心架构并将吞吐量提升至多 1.7x
vLLM 发布 V1 Alpha，通过重构调度器、KV cache 管理器、Worker、采样器和 API 服务器，将吞吐量较 V0 提升至多 1.7x。V1 默认启用低开销前缀缓存，增强多模态模型支持，并可通过设置 `VLLM_USE_V1=1` 在不修改现有 API 的情况下启用。当前版本仅支持 Ampere 或更新的 NVIDIA GPU，尚不支持 LoRA、结构化解码、推测解码和流水线并行等功能。