Hao AI Lab 用 vstack 在 vLLM 发现流式会话越界写入共享缓存块
(4/7) Silent out-of-bounds write: a long streaming session overwrites a shared cache block.
AI 导读
Hao AI Lab 在 vstack 智能体形式化验证系列第 4 条中指出,vLLM 处理流式输入时只检查每个新分块的长度,不检查整个会话的长度,因此会话可能超出模型最大长度。vLLM 没有为这些额外 token 预留内存,其数据会溢出到会话内存之外,并可能落入共享缓存块,后续复用该块的请求会得到不同输出且不报错。限制 worker 写入、丢弃超出上限的 token 数据可防止该问题,相关 PR 已提交。
正文 · AI 翻译
(4/7) 静默越界写入:长时间的流式会话会覆盖共享缓存块。
这破坏了内存隔离:请求绝不能写入自身内存之外。
对于流式输入,vLLM 会检查每个新分块的长度,但不检查整个会话的长度,因此会话可能超出模型的最大长度。vLLM 没有为这些额外 token 预留内存,因此它们的数据会溢出到会话内存之外,并可能落入共享缓存块。之后复用该块的请求可能得到不同的输出,且不会报错。
一个超出模型长度限制的长流式会话覆盖了共享前缀缓存块。限制 worker 写入可防止该问题,丢弃超出限制的 token 数据。
PR:https://t.co/vjh9CHLCqh