AI News

Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,发现 17 个以上 bug

UCSD Hao AI Lab更新于 11月14日 03:26

(7/7) Our fixes are going upstream now, and we're continuing to work with the vLLM team and the open-source community to bring more verifiable AI infra.

AI 导读

Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,已发现 17 个(还在增加)bug,并公开其中 5 个及对应修复 PR。问题包括混合模型从全零缓存块继续生成、队列上限下少量失败请求导致服务器持续返回 busy、长流式会话越界写入共享缓存块、LoRA 适配器原地重载后新请求仍用旧权重,以及两台服务器共享外部 KV 缓存时不同图片命中同一缓存键。相关修复正在向上游提交,团队表示将继续与 vLLM 团队和开源社区合作。

推荐理由

AI 评分 58

原文列出 vLLM 中五类难以人工发现的缺陷及对应修复 PR,可了解形式化验证在推理引擎上的实际用法。

主题

标签

正文 · AI 翻译

(7/7) 我们的修复正在向上游提交,我们也在继续与 vLLM 团队和开源社区合作,带来更多可验证的 AI 基础设施。

非常感谢 @vllm_project 团队构建了如此稳健的引擎,并提供了宝贵的反馈!

vLLM 验证工作由 @AlexZhang152005 和 @Junda_Su08 完成,特别感谢 @Yuxuan_Zhang13、@yisun0618、@Junda_Chen_ 和 @FuYichao123 在 @haoailab 共同完成这项工作!

来源

UCSD Hao AI Lab