AI News

Hao AI Lab 用 vstack 在 vLLM 发现流式会话越界写入共享缓存块

UCSD Hao AI Lab更新于 11月14日 03:27

(4/7) Silent out-of-bounds write: a long streaming session overwrites a shared cache block.

AI 导读

Hao AI Lab 在 vstack 智能体形式化验证系列第 4 条中指出,vLLM 处理流式输入时只检查每个新分块的长度,不检查整个会话的长度,因此会话可能超出模型最大长度。vLLM 没有为这些额外 token 预留内存,其数据会溢出到会话内存之外,并可能落入共享缓存块,后续复用该块的请求会得到不同输出且不报错。限制 worker 写入、丢弃超出上限的 token 数据可防止该问题,相关 PR 已提交。

推荐理由

AI 评分 51

这条内容披露了 vLLM 流式输入越界写入共享缓存块的问题,读者可了解长会话超出模型长度上限时如何破坏内存隔离。

主题

标签

正文 · AI 翻译

(4/7) 静默越界写入:长时间的流式会话会覆盖共享缓存块。

这破坏了内存隔离:请求绝不能写入自身内存之外。

对于流式输入,vLLM 会检查每个新分块的长度,但不检查整个会话的长度,因此会话可能超出模型的最大长度。vLLM 没有为这些额外 token 预留内存,因此它们的数据会溢出到会话内存之外,并可能落入共享缓存块。之后复用该块的请求可能得到不同的输出,且不会报错。

一个超出模型长度限制的长流式会话覆盖了共享前缀缓存块。限制 worker 写入可防止该问题,丢弃超出限制的 token 数据。

PR:https://t.co/vjh9CHLCqh

来源

UCSD Hao AI Lab