AI News

Hao AI Lab 用 vstack 在 vLLM 发现 17 个 bug

UCSD Hao AI Lab更新于 11月14日 03:29

(2/7) Silent wrong output: hybrid models can continue from an all-zero cache block, and then cache it.

AI 导读

Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,已发现 17 个(还在增加)bug,并公开其中 5 个及修复 PR。混合模型开启细粒度前缀匹配时,vLLM 在缓存块写入前就标记可复用,同一步的第二个请求会复制到全零块并继续生成,GB200 上修复前 32/32 次复现全零、修复后为 0。其余问题包括队列上限下 2 个失败请求即可让服务持续返回 busy、流式会话越界写共享缓存块、LoRA 原地重载后新请求仍用旧权重、跨实例图像缓存键冲突。

正文 · AI 翻译

(2/7)静默的错误输出:混合模型可以从一个全零的缓存块继续生成,然后将其缓存。

这破坏了前缀缓存:缓存命中必须让请求得到与它自行计算时相同的结果。

在开启细粒度前缀匹配的混合模型上,vLLM 在规划缓存块时就将其标记为可复用,而此时该块尚未被实际写入。因此,当同一步中的第二个请求复用该块时,它会过早地复制该块,得到全零。第二个请求随后便从这些零继续生成。由于这个坏块仍留在缓存中,后续请求也可能取到它,而每个响应看起来仍然正常。

在 GB200 上,修复前 32 次试验中有 32 次复制源为全零,修复后为 0 次。一个小修复会将复制源尚未写入的请求推迟到下一个调度步骤,等源被填充后再处理。

PR:https://t.co/NMPdqdCAxv

来源

UCSD Hao AI Lab