AI News

热点事件

Hao AI Lab用vstack对vLLM做智能体形式化验证

5 篇正式报道5 条事件动态更新于 11月14日 03:13

先了解这件事

AI 综述

Hao AI Lab与vLLM项目合作,用vstack对vLLM开展智能体形式化验证,已发现17个(仍在增加)bug,涵盖静默错误输出到服务器锁死等问题。团队公开了其中5个bug的成因与修复PR,例如混合模型可从全零缓存块继续生成、队列上限下失败请求不归还槽位导致服务器拒绝所有新请求,相关修复正在向上游提交。该系列第4条指出,vLLM处理流式输入时只检查每个新分块长度而不检查整个会话长度,会话可能超出模型最大长度,额外token数据溢出并可能落入共享缓存块,后续复用该块的请求会得到不同输出且不报错;限制worker写入、丢弃超出上限的token数据可防止该问题,相关PR已提交。

AI 根据公开报道生成

最新进展 · 正式报道

Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,发现 17 个以上 bug

事件进展

2 个已确认进展

  1. Hao AI Lab用vstack对vLLM做智能体形式化验证

    来源:UCSD Hao AI Lab
  2. Hao AI Lab用vstack对vLLM做智能体形式化验证

    来源:UCSD Hao AI Lab

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月14日

  1. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,发现 17 个以上 bug

    Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,已发现 17 个(还在增加)bug,并公开其中 5 个及对应修复 PR。问题包括混合模型从全零缓存块继续生成、队列上限下少量失败请求导致服务器持续返回 busy、长流式会话越界写入共享缓存块、LoRA 适配器原地重载后新请求仍用旧权重,以及两台服务器共享外部 KV 缓存时不同图片命中同一缓存键。相关修复正在向上游提交,团队表示将继续与 vLLM 团队和开源社区合作。

  2. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 在 vLLM 发现流式会话越界写入共享缓存块

    Hao AI Lab 在 vstack 智能体形式化验证系列第 4 条中指出,vLLM 处理流式输入时只检查每个新分块的长度,不检查整个会话的长度,因此会话可能超出模型最大长度。vLLM 没有为这些额外 token 预留内存,其数据会溢出到会话内存之外,并可能落入共享缓存块,后续复用该块的请求会得到不同输出且不报错。限制 worker 写入、丢弃超出上限的 token 数据可防止该问题,相关 PR 已提交。

  3. UCSD Hao AI Lab一手

    vLLM 原地重载 LoRA 后新请求仍跑旧权重

    Hao AI Lab 用 vstack 智能体形式化验证发现,vLLM 原地重载 LoRA 适配器后,新请求仍可能加载旧权重,而 vLLM 却报告新版本。原因是重载保留了适配器名称与 ID 但指向新文件,重载前已接纳的请求仍指向旧文件,当 vLLM 内存中适配器数量超限需重新加载时会从该旧请求取文件。修复方案是跟踪每个适配器最新一次成功重载,确保从新文件加载。

  4. UCSD Hao AI Lab一手精选

    Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,发现 17 个 bug

    Hao AI Lab 与 vLLM 项目合作,用 vstack 对 vLLM 做智能体形式化验证,已发现 17 个(仍在增加)bug,涵盖静默错误输出到服务器锁死等问题。团队公开了其中 5 个 bug 的成因与修复 PR,例如混合模型可从全零缓存块继续生成、队列上限下失败请求不归还槽位导致服务器拒绝所有新请求。相关修复正在向上游提交。

  5. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 在 vLLM 发现 17 个 bug

    Hao AI Lab 用 vstack 对 vLLM 做智能体形式化验证,已发现 17 个(还在增加)bug,并公开其中 5 个及修复 PR。混合模型开启细粒度前缀匹配时,vLLM 在缓存块写入前就标记可复用,同一步的第二个请求会复制到全零块并继续生成,GB200 上修复前 32/32 次复现全零、修复后为 0。其余问题包括队列上限下 2 个失败请求即可让服务持续返回 busy、流式会话越界写共享缓存块、LoRA 原地重载后新请求仍用旧权重、跨实例图像缓存键冲突。

关联事件

  1. 相关事件Hao AI Lab推出vstack与veriserve
  2. 相关事件Anthropic推出Claude Fable 5.2与Claude Mythos 5.2
  3. 相关事件Hao AI Lab 推出开源机器人智能体框架 ORA
  4. 相关事件Goodfire部署Kimi K3生产级网络监控器