先了解这件事
AI 综述
2026年8月21日,LMSYS 发布 SGLang Weight Cache Daemon(权重缓存守护进程)。据 LMSYS Blog 介绍,该组件是一个常驻 GPU 进程,把量化后的模型权重留在显存中,通过 CUDA IPC 零拷贝映射给新的引擎实例。基于 Ling-2.6-1T FP8 模型,权重加载从约 495 秒降至约 0.63 秒,端到端启动时间从 8.8 分钟降至 0.528 分钟,减少 93.9%。该组件是 Fast Engine Recovery Framework 的第一阶段,目标是把冷重启压到 10 秒以内、热备切换压到 1 秒以内,目前支持 TP+PP、单机与多机启动,以及未量化和 block-wise FP8。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
8月21日
LMSYS Blog一手
SGLang 推出 Weight Cache Daemon，引擎重启权重加载从 495 秒降至 0.63 秒
SGLang 发布 Weight Cache Daemon，这是一个常驻 GPU 进程，把量化后的模型权重留在显存中，通过 CUDA IPC 零拷贝映射给新的引擎实例。基于 Ling-2.6-1T FP8 模型，权重加载从约 495 秒降到约 0.63 秒，端到端启动时间从 8.8 分钟降到 0.528 分钟，减少 93.9%。该组件是 Fast Engine Recovery Framework 的第一阶段，目标是把冷重启压到 10 秒以内、热备切换压到 1 秒以内，目前支持 TP+PP、单机与多机启动，以及未量化和 block-wise FP8。