Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,发现 17 个 bug
(1/7) Agentic Formal Verification on vLLM 🚀
AI 导读
Hao AI Lab 与 vLLM 项目合作,用 vstack 对 vLLM 做智能体形式化验证,已发现 17 个(仍在增加)bug,涵盖静默错误输出到服务器锁死等问题。团队公开了其中 5 个 bug 的成因与修复 PR,例如混合模型可从全零缓存块继续生成、队列上限下失败请求不归还槽位导致服务器拒绝所有新请求。相关修复正在向上游提交。
正文 · AI 翻译
(1/7) 在 vLLM 上进行智能体形式化验证 🚀
本周,我们推出了用于 AI 基础设施中智能体形式化验证的 vstack;今天,我们与 @vllm_project 合作,对 vstack 进行测试:尽管 vLLM 已经非常成熟,但有些 bug 只在罕见的组合下才会暴露,人类审查者很难发现。
借助 vstack 的智能体形式化验证,我们发现了 17 个(而且还在增加!)bug,从静默的错误输出到服务器锁死。下面我们分享其中 5 个,每个都附有修复 PR ⬇️
🔌 vstack 插件:https://t.co/GZJebbjdpL 📋 Bug 追踪器:https://t.co/6f6WmtRUWU