AI News

vLLM 原地重载 LoRA 后新请求仍跑旧权重

UCSD Hao AI Lab更新于 11月14日 03:27

(5/7) Stale adapter: after a LoRA adapter is reloaded in place, new requests can still run on the old weights.

AI 导读

Hao AI Lab 用 vstack 智能体形式化验证发现,vLLM 原地重载 LoRA 适配器后,新请求仍可能加载旧权重,而 vLLM 却报告新版本。原因是重载保留了适配器名称与 ID 但指向新文件,重载前已接纳的请求仍指向旧文件,当 vLLM 内存中适配器数量超限需重新加载时会从该旧请求取文件。修复方案是跟踪每个适配器最新一次成功重载,确保从新文件加载。

正文 · AI 翻译

(5/7) 适配器陈旧:在 LoRA 适配器被原地重载后,新请求仍可能运行在旧权重上。

这破坏了适配器更新:一旦重载报告成功,该适配器的新请求就必须使用新权重。

原地重载会保留适配器的名称和 ID,但将它们指向新文件。在重载之前被接纳的请求仍指向旧文件。因此,当 vLLM 服务的适配器数量超过其内存中保留的数量、必须再次加载该适配器时,它可能会从那个旧请求加载,于是新请求运行在旧权重上,而 vLLM 却报告新版本。

在服务期间进行原地 LoRA 重载,会让新请求继续使用旧权重。跟踪每个适配器最新一次成功重载,可确保 vLLM 从该次重载加载,从而旧请求不再带回旧权重。

PR:https://t.co/Cq8ktHgcGk

来源

UCSD Hao AI Lab