AI 热点

热点事件

Hao AI Lab披露SGLang解码服务器停滞问题

1 篇正式报道1 条事件动态更新于 11月18日 02:27

先了解这件事

AI 综述

Hao AI Lab披露SGLang中PD分离解码服务器存在停滞问题:单个被撤回的请求会冻结传输队列,而/health健康检查仍返回200。该团队用vstack在GB200上观测到解码服务器卡顿364.69秒,期间363次健康检查全部通过。Hao AI Lab表示,只对新预分配加门控,即可让已到达的传输完成并解除卡顿。该问题属于其与SGLang社区合作提出的20+个问题与修复PR之一。

AI 根据公开报道生成

最新进展 · 正式报道

Hao AI Lab 用 vstack 发现 SGLang 解码服务器卡死 364 秒

事件进展

1 个已确认进展

  1. Hao AI Lab披露SGLang解码服务器停滞问题

    来源:UCSD Hao AI Lab

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月18日

  1. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 发现 SGLang 解码服务器卡死 364 秒

    Hao AI Lab 用 vstack 在 SGLang 上发现 PD 分离解码服务器卡死问题:单个被撤回请求会冻结传输队列,而 /health 仍返回 200。在 GB200 上解码服务器卡顿 364.69 秒,363 次健康检查全部通过;只对新预分配加门控即可让已到达的传输完成并解除卡顿。该问题属于其与 SGLang 社区合作提出的 20+ 个问题与修复 PR 之一。

关联事件

  1. 相关事件Anthropic推出Claude Fable 5.2与Claude Mythos 5.2
  2. 相关事件Mistral在Hugging Face发布Large 4权重
  3. 相关事件SGLang原生支持并驱动Beam生产API
  4. 相关事件Meta发布开放权重模型Muse Spark Open