先了解这件事
AI 综述
2025年10月26日,vLLM推出Sleep Mode模型休眠与快速切换功能。该功能通过保留进程、内存分配器、CUDA图和JIT内核,避免切换模型时完整重载。Level 1将模型权重卸载到CPU内存,Level 2丢弃权重并在唤醒时从磁盘重新加载。据vLLM官方博客介绍,两种模式可将原本需要30至100多秒的完整重载缩短到秒级或亚秒级,切换速度提升18至200倍;预热模型的推理速度较冷启动提升61%至88%。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM Sleep Mode 如何实现模型零重载切换事件进展
1 个已确认进展
- 来源：vLLM 官方博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月26日
vLLM 官方博客一手精选
vLLM Sleep Mode 如何实现模型零重载切换
vLLM Sleep Mode 通过保留进程、内存分配器、CUDA 图和 JIT 内核，将多模型切换从完整重载的 30-100+ 秒缩短至秒级或亚秒级。Level 1 将权重卸载到 CPU RAM，Level 2 丢弃权重并在唤醒时从磁盘重载；两种模式的切换速度比完整重载快 18-200x，预热模型的推理速度比冷启动快 61-88%。