Hao AI Lab 用 vstack 在 vLLM 发现 17 个 bug
(3/7) Server lockout: with a queue limit set, a few failed requests make vLLM answer every new request with "busy" until a restart.
Hao AI Lab 用 vstack 智能体形式化验证在 vLLM 中发现 17 个(仍在增加)bug,并公开其中 5 个及修复 PR。设置队列上限时,2 个失败请求会让 vLLM 拒绝后续 2 个正常请求(2/2 次复现),数据并行下 8/8 新流量被路由到同一引擎;修复后失败请求归还队列槽位与路由条目,流量恢复 4/4 均分。其余问题包括混合模型从全零缓存块继续生成(GB200 上修复前 32/32 次命中全零)、流式长会话越界写共享缓存块、LoRA 原地重载后新请求仍用旧权重、多实例共享外部 KV 缓存时图像缓存键冲突。
正文 · AI 翻译
(3/7)服务器锁死:设置队列上限后,少量失败请求会让 vLLM 对每个新请求都返回“busy”,直到重启为止。
这违背了一项基本的可用性承诺:失败的请求必须归还它在队列和负载均衡器中的位置。
设置队列上限时,vLLM 会在把每个请求交给引擎之前先将其计入上限。如果这次交接失败,没有任何机制会归还该槽位,于是客户端收到错误,而它的槽位却仍被占用。因此,少量失败请求就会让服务器拒绝所有工作,尽管其健康检查仍然通过。(若不设上限,泄漏的请求只会继续占用内存。)在数据并行下,同样的失败还会留下一条路由条目,于是负载均衡器会持续把新流量发往同一个引擎。
设置队列上限时,2 个失败请求让 vLLM 在 2 次测试中的 2 次都拒绝了接下来的 2 个正常请求;而在数据并行下,8 次测试中的 8 次新流量都被发往同一个引擎。现在,失败的请求会归还其槽位和路由条目,因此两个正常请求都能成功,流量也重新按 4 和 4 分配。我们的 PR 修复了这两处泄漏。
PR:https://t.co/WmMSlKNYzr