先了解这件事
AI 综述
Hao AI Lab 使用 vstack 智能体形式化验证工具对 vLLM 开展测试,并在 vLLM 中发现跨实例缓存串图问题。该团队说明,当 prefix cache 与图像处理缓存均关闭时,每个服务器从 1 开始计数给图片打标签;两个共享外部 KV cache 存储的 vLLM 服务器会给不同图片相同键,第二台服务器因此用另一张图片的缓存数据作答,且表现为正常缓存命中、不报错。修复方式是每台服务器在标签中加入自己的随机部分,使跨服务器标签不再相同。该团队称共发现 17 个(仍在增加)bug,本次分享其中 5 个并附修复 PR。
AI 根据公开报道生成
最新进展 · 正式报道
vLLM 跨实例缓存串图:不同图片共用同一缓存键事件进展
1 个已确认进展
- 来源:UCSD Hao AI Lab
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月14日
UCSD Hao AI Lab一手
vLLM 跨实例缓存串图:不同图片共用同一缓存键
Hao AI Lab 用 vstack 智能体形式化验证在 vLLM 中发现跨实例缓存串图问题:当 prefix cache 与图像处理缓存均关闭时,每个服务器从 1 开始计数给图片打标签,两个共享外部 KV cache 存储的 vLLM 服务器会给不同图片相同键,第二台服务器因此用另一张图片的缓存数据作答,且表现为正常缓存命中、不报错。修复方式是每台服务器在标签中加入自己的随机部分,使跨服务器标签不再相同。该团队称共发现 17 个(仍在增加)bug,本次分享其中 5 个并附修复 PR。