先了解这件事
Hao AI Lab与SGLang社区合作,使用vstack在SGLang中找出20余个并发与多步状态缺陷,并提交修复PR。其中权重更新竞态在GB200上修复前8/8次试验中在途步骤用新权重算出token、logprob和KV,修复后为0/8;decode server卡死364.69秒期间/health仍363/363返回200。另一类问题为流式stop-string截断:字节级tokenizer把多字节字符拆到多个token时,尾部解码出U+FFFD破坏前缀检查,导致stop string开头被提前发给客户端;在GB200上用Qwen3-4B、默认参数测试,chat与completions端点8次流式对比中8次未截断,去掉尾部U+FFFD后降为0次。修复方式包括参数写入前加GPU stream等待、只限制新预分配等。
AI 根据公开报道生成
最新进展 · 正式报道
Hao AI Lab 用 vstack 扩大 SGLang 验证覆盖事件进展
1 个已确认进展
- 来源:UCSD Hao AI Lab
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月18日
UCSD Hao AI Lab一手
Hao AI Lab 用 vstack 扩大 SGLang 验证覆盖
Hao AI Lab 表示,在已分享的 5 个案例之外,团队正用 vstack 继续扩大对 SGLang 的验证覆盖,并在 GB200 上验证后把确认的修复提交到上游。
UCSD Hao AI Lab一手
Hao AI Lab 用 vstack 修复 SGLang 多 GPU 通信错位
Hao AI Lab 用 vstack 在 SGLang 上定位并修复了 DP attention 下 prefill delayer 与 interval min batch size 引发的多 GPU rank 错位:忙 rank 跳过 prefill 直接进入每轮同步,空闲 rank 却进入 delayer 协商,通信库随即中止。让延迟 prefill 的 rank 以零 prefill 仍参与协商后,GB200 上 30 次跨阈值运行全部完成、无中止。
UCSD Hao AI Lab一手
Hao AI Lab 用 vstack 发现 SGLang 取消请求丢失问题
Hao AI Lab 用 vstack 在 SGLang 中发现 DP attention 下的取消丢失问题:快速 abort 可能先于其生成请求到达而被丢弃,请求继续跑到 max_new_tokens。在 GB200 上,20 ms 内发出的 204 次 abort 中有 33 次丢失并跑满 max_new_tokens;改为在每个 rank 的 work socket 上按序传输 abort 后降为 0/204。该问题已提交修复 PR。
UCSD Hao AI Lab一手
Hao AI Lab 用 vstack 在 SGLang 发现 20+ 并发缺陷
Hao AI Lab 与 SGLang 社区用 vstack 在 SGLang 中找出 20+ 个并发与多步状态缺陷,并提交修复 PR。其中权重更新竞态在 GB200 上修复前 8/8 次试验中在途步骤用新权重算出 token、logprob 和 KV,修复后为 0/8;decode server 卡死 364.69 秒期间 /health 仍 363/363 返回 200。修复方式包括参数写入前加 GPU stream 等待、只限制新预分配等。
UCSD Hao AI Lab一手
Hao AI Lab 用 vstack 发现 SGLang 解码服务器卡死 364 秒
Hao AI Lab 用 vstack 在 SGLang 上发现 PD 分离解码服务器卡死问题:单个被撤回请求会冻结传输队列,而 /health 仍返回 200。在 GB200 上解码服务器卡顿 364.69 秒,363 次健康检查全部通过;只对新预分配加门控即可让已到达的传输完成并解除卡顿。该问题属于其与 SGLang 社区合作提出的 20+ 个问题与修复 PR 之一。
UCSD Hao AI Lab一手
Hao AI Lab 用 vstack 发现 SGLang 流式 stop-string 截断缺陷
Hao AI Lab 用 vstack 在 SGLang 中发现流式 stop-string 截断缺陷:字节级 tokenizer 把多字节字符拆到多个 token 时,尾部解码出 U+FFFD 会破坏前缀检查,导致 stop string 开头被提前发给客户端。在 GB200 上用 Qwen3-4B、默认参数测试,chat 与 completions 端点 8 次流式对比中 8 次未截断,额外检查去掉尾部 U+FFFD 的文本后降为 0 次。该问题属其与 SGLang 社区合作提出的 20+ 个问题之一。
AI 热点