AI News

热点事件

Hao AI Lab用vstack对vLLM做智能体形式化验证

1 篇正式报道1 条事件动态更新于 11月14日 03:13

先了解这件事

AI 综述

Hao AI Lab 使用 vstack 智能体形式化验证工具对 vLLM 开展测试,并在 vLLM 中发现跨实例缓存串图问题。该团队说明,当 prefix cache 与图像处理缓存均关闭时,每个服务器从 1 开始计数给图片打标签;两个共享外部 KV cache 存储的 vLLM 服务器会给不同图片相同键,第二台服务器因此用另一张图片的缓存数据作答,且表现为正常缓存命中、不报错。修复方式是每台服务器在标签中加入自己的随机部分,使跨服务器标签不再相同。该团队称共发现 17 个(仍在增加)bug,本次分享其中 5 个并附修复 PR。

AI 根据公开报道生成

最新进展 · 正式报道

vLLM 跨实例缓存串图:不同图片共用同一缓存键

事件进展

1 个已确认进展

  1. Hao AI Lab用vstack对vLLM做智能体形式化验证

    来源:UCSD Hao AI Lab

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月14日

  1. UCSD Hao AI Lab一手

    vLLM 跨实例缓存串图:不同图片共用同一缓存键

    Hao AI Lab 用 vstack 智能体形式化验证在 vLLM 中发现跨实例缓存串图问题:当 prefix cache 与图像处理缓存均关闭时,每个服务器从 1 开始计数给图片打标签,两个共享外部 KV cache 存储的 vLLM 服务器会给不同图片相同键,第二台服务器因此用另一张图片的缓存数据作答,且表现为正常缓存命中、不报错。修复方式是每台服务器在标签中加入自己的随机部分,使跨服务器标签不再相同。该团队称共发现 17 个(仍在增加)bug,本次分享其中 5 个并附修复 PR。

关联事件

  1. 相关事件Hao AI Lab用vstack对vLLM做智能体形式化验证
  2. 相关事件Anthropic推出Claude Fable 5.2与Claude Mythos 5.2
  3. 相关事件Mistral在Hugging Face发布Large 4权重
  4. 相关事件NVIDIA发布OpenShell参考架构