AI News

vLLM 跨实例缓存串图:不同图片共用同一缓存键

UCSD Hao AI Lab更新于 11月14日 03:27

(6/7) Cross-instance mix-up: a question about one image is answered from another image's cached data.

AI 导读

Hao AI Lab 用 vstack 智能体形式化验证在 vLLM 中发现跨实例缓存串图问题:当 prefix cache 与图像处理缓存均关闭时,每个服务器从 1 开始计数给图片打标签,两个共享外部 KV cache 存储的 vLLM 服务器会给不同图片相同键,第二台服务器因此用另一张图片的缓存数据作答,且表现为正常缓存命中、不报错。修复方式是每台服务器在标签中加入自己的随机部分,使跨服务器标签不再相同。该团队称共发现 17 个(仍在增加)bug,本次分享其中 5 个并附修复 PR。

正文 · AI 翻译

(6/7)跨实例混淆:针对一张图片提出的问题,却用另一张图片的缓存数据来回答。

这破坏了基于内容的缓存:两张不同的图片绝不能共用同一个缓存键。

通常,vLLM 通过内容哈希来标识每张图片。但当前缀缓存和图像处理缓存都关闭时,它在每台服务器上都使用从 1 开始的计数器。由于该标签仍会进入外部缓存存储的键,两个共享该存储的 vLLM 服务器会给不同的图片分配相同的键。因此,当第二台服务器被问及它自己的图片时,它能在该键下找到第一台服务器的缓存数据,并用那张图片的数据作答,表现为正常的缓存命中且不报错。

在两个共享外部 KV 缓存存储的服务器之间,第二台服务器用另一张图片的缓存数据作了答。更改图片标签可以修复此问题:每台服务器加入自己的随机部分,使跨服务器的标签不再相同。

PR:https://t.co/NmMxN1qsP5

来源

UCSD Hao AI Lab