AI 热点

Hao AI Lab 用 vstack 发现 SGLang 取消请求丢失问题

UCSD Hao AI Lab更新于 11月18日 02:32

(6/8) Lost cancellation: under DP attention, a rapid cancel can overtake its own generation request and be dropped, leaving the request running to max_new_token

AI 导读

Hao AI Lab 用 vstack 在 SGLang 中发现 DP attention 下的取消丢失问题:快速 abort 可能先于其生成请求到达而被丢弃,请求继续跑到 max_new_tokens。在 GB200 上,20 ms 内发出的 204 次 abort 中有 33 次丢失并跑满 max_new_tokens;改为在每个 rank 的 work socket 上按序传输 abort 后降为 0/204。该问题已提交修复 PR。

正文 · AI 翻译

(6/8) 取消丢失:在 DP attention 下,快速取消可能先于其自身的生成请求到达而被丢弃,导致该请求继续运行直到 max_new_tokens。

这破坏了取消的最终性:一旦中止请求成功,被取消的请求就绝不能运行至完成。

在默认的 DP 控制路由下,生成请求直接发送到其所属的 rank,而中止请求则发送到 rank 0 并广播到各 rank,两条路径之间没有顺序保证。如果中止请求先到达,调度器尚未看到该请求,就会丢弃中止请求,并在下一次轮询时让该请求运行到其 token 上限。

在 GB200 上,20 ms 内发出的 204 次中止中有 33 次丢失并运行到 max_new_tokens;一旦中止请求在每个 rank 的 work socket 上按序传输,这一数字就降至 0/204。

PR:https://t.co/wI4nH8vUq7

来源

UCSD Hao AI Lab