Hao AI Lab 用 vstack 在 vLLM 发现 17 个 bug
(2/7) Silent wrong output: hybrid models can continue from an all-zero cache block, and then cache it.
AI 导读
Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,已发现 17 个(还在增加)bug,并公开其中 5 个及修复 PR。混合模型开启细粒度前缀匹配时,vLLM 在缓存块写入前就标记可复用,同一步的第二个请求会复制到全零块并继续生成,GB200 上修复前 32/32 次复现全零、修复后为 0。其余问题包括队列上限下 2 个失败请求即可让服务持续返回 busy、流式会话越界写共享缓存块、LoRA 原地重载后新请求仍用旧权重、跨实例图像缓存键冲突。
正文 · AI 翻译
(2/7)静默的错误输出:混合模型可以从一个全零的缓存块继续生成,然后将其缓存。
这破坏了前缀缓存:缓存命中必须让请求得到与它自行计算时相同的结果。
在开启细粒度前缀匹配的混合模型上,vLLM 在规划缓存块时就将其标记为可复用,而此时该块尚未被实际写入。因此,当同一步中的第二个请求复用该块时,它会过早地复制该块,得到全零。第二个请求随后便从这些零继续生成。由于这个坏块仍留在缓存中,后续请求也可能取到它,而每个响应看起来仍然正常。
在 GB200 上,修复前 32 次试验中有 32 次复制源为全零,修复后为 0 次。一个小修复会将复制源尚未写入的请求推迟到下一个调度步骤,等源被填充后再处理。
PR:https://t.co/NMPdqdCAxv