Hao AI Lab 用 vstack 发现 SGLang 解码服务器卡死 364 秒
(3/8) Decode server stall: on a PD-disaggregated decode server, a single retracted request freezes the transfer queue while health checks still pass.
AI 导读
Hao AI Lab 用 vstack 在 SGLang 上发现 PD 分离解码服务器卡死问题:单个被撤回请求会冻结传输队列,而 /health 仍返回 200。在 GB200 上解码服务器卡顿 364.69 秒,363 次健康检查全部通过;只对新预分配加门控即可让已到达的传输完成并解除卡顿。该问题属于其与 SGLang 社区合作提出的 20+ 个问题与修复 PR 之一。
正文 · AI 翻译
(3/8) 解码服务器卡死解析:在 PD 分离的解码服务器上,单个被撤回的请求会冻结传输队列,而健康检查仍然通过。
这破坏了活性:KV 缓存已经到达的请求必须能够运行并释放其预留内存,以便被撤回的工作可以恢复。
在 KV 压力下,解码调度器会撤回一个请求,并在每一步提前返回,以阻止新的预分配。这种提前返回还会跳过对传输队列的轮询,因此已到达的传输会继续占用其页面和解码预留,而被撤回的请求永远无法获得足够空间,即使 /health 仍返回 200。
在 GB200 上,解码服务器卡顿了 364.69 秒,而 /health 在 363 次探测中全部返回 200。仅对新预分配加门控,就能让已到达的传输完成并解除卡顿。
PR:https://t.co/55VVQdpLSY
AI 热点