先了解这件事
AI 综述
Hao AI Lab披露SGLang中PD分离解码服务器存在停滞问题:单个被撤回的请求会冻结传输队列,而/health健康检查仍返回200。该团队用vstack在GB200上观测到解码服务器卡顿364.69秒,期间363次健康检查全部通过。Hao AI Lab表示,只对新预分配加门控,即可让已到达的传输完成并解除卡顿。该问题属于其与SGLang社区合作提出的20+个问题与修复PR之一。
AI 根据公开报道生成
最新进展 · 正式报道
Hao AI Lab 用 vstack 发现 SGLang 解码服务器卡死 364 秒事件进展
1 个已确认进展
- 来源:UCSD Hao AI Lab
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月18日
UCSD Hao AI Lab一手
Hao AI Lab 用 vstack 发现 SGLang 解码服务器卡死 364 秒
Hao AI Lab 用 vstack 在 SGLang 上发现 PD 分离解码服务器卡死问题:单个被撤回请求会冻结传输队列,而 /health 仍返回 200。在 GB200 上解码服务器卡顿 364.69 秒,363 次健康检查全部通过;只对新预分配加门控即可让已到达的传输完成并解除卡顿。该问题属于其与 SGLang 社区合作提出的 20+ 个问题与修复 PR 之一。
AI 热点