AI 热点

热点事件

Hao AI Lab用vstack在SGLang发现并提交修复20余个问题

6 篇正式报道6 条事件动态更新于 11月18日 02:27

先了解这件事

AI 综述

Hao AI Lab与SGLang社区合作,使用vstack在SGLang中找出20余个并发与多步状态缺陷,并提交修复PR。其中权重更新竞态在GB200上修复前8/8次试验中在途步骤用新权重算出token、logprob和KV,修复后为0/8;decode server卡死364.69秒期间/health仍363/363返回200。另一类问题为流式stop-string截断:字节级tokenizer把多字节字符拆到多个token时,尾部解码出U+FFFD破坏前缀检查,导致stop string开头被提前发给客户端;在GB200上用Qwen3-4B、默认参数测试,chat与completions端点8次流式对比中8次未截断,去掉尾部U+FFFD后降为0次。修复方式包括参数写入前加GPU stream等待、只限制新预分配等。

AI 根据公开报道生成

最新进展 · 正式报道

Hao AI Lab 用 vstack 扩大 SGLang 验证覆盖

事件进展

1 个已确认进展

  1. Hao AI Lab用vstack在SGLang发现并提交修复20余个问题

    来源:UCSD Hao AI Lab

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月18日

  1. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 扩大 SGLang 验证覆盖

    Hao AI Lab 表示,在已分享的 5 个案例之外,团队正用 vstack 继续扩大对 SGLang 的验证覆盖,并在 GB200 上验证后把确认的修复提交到上游。

  2. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 修复 SGLang 多 GPU 通信错位

    Hao AI Lab 用 vstack 在 SGLang 上定位并修复了 DP attention 下 prefill delayer 与 interval min batch size 引发的多 GPU rank 错位:忙 rank 跳过 prefill 直接进入每轮同步,空闲 rank 却进入 delayer 协商,通信库随即中止。让延迟 prefill 的 rank 以零 prefill 仍参与协商后,GB200 上 30 次跨阈值运行全部完成、无中止。

  3. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 发现 SGLang 取消请求丢失问题

    Hao AI Lab 用 vstack 在 SGLang 中发现 DP attention 下的取消丢失问题:快速 abort 可能先于其生成请求到达而被丢弃,请求继续跑到 max_new_tokens。在 GB200 上,20 ms 内发出的 204 次 abort 中有 33 次丢失并跑满 max_new_tokens;改为在每个 rank 的 work socket 上按序传输 abort 后降为 0/204。该问题已提交修复 PR。

  4. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 在 SGLang 发现 20+ 并发缺陷

    Hao AI Lab 与 SGLang 社区用 vstack 在 SGLang 中找出 20+ 个并发与多步状态缺陷,并提交修复 PR。其中权重更新竞态在 GB200 上修复前 8/8 次试验中在途步骤用新权重算出 token、logprob 和 KV,修复后为 0/8;decode server 卡死 364.69 秒期间 /health 仍 363/363 返回 200。修复方式包括参数写入前加 GPU stream 等待、只限制新预分配等。

  5. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 发现 SGLang 解码服务器卡死 364 秒

    Hao AI Lab 用 vstack 在 SGLang 上发现 PD 分离解码服务器卡死问题:单个被撤回请求会冻结传输队列,而 /health 仍返回 200。在 GB200 上解码服务器卡顿 364.69 秒,363 次健康检查全部通过;只对新预分配加门控即可让已到达的传输完成并解除卡顿。该问题属于其与 SGLang 社区合作提出的 20+ 个问题与修复 PR 之一。

  6. UCSD Hao AI Lab一手

    Hao AI Lab 用 vstack 发现 SGLang 流式 stop-string 截断缺陷

    Hao AI Lab 用 vstack 在 SGLang 中发现流式 stop-string 截断缺陷:字节级 tokenizer 把多字节字符拆到多个 token 时,尾部解码出 U+FFFD 会破坏前缀检查,导致 stop string 开头被提前发给客户端。在 GB200 上用 Qwen3-4B、默认参数测试,chat 与 completions 端点 8 次流式对比中 8 次未截断,额外检查去掉尾部 U+FFFD 的文本后降为 0 次。该问题属其与 SGLang 社区合作提出的 20+ 个问题之一。

关联事件

  1. 相关事件Hao AI Lab用vstack在SGLang上开展智能体形式化验证
  2. 相关事件Microsoft Research等发布开源插件TokenEconomizer
  3. 相关事件微软与英伟达开启Windows新合作
  4. 相关事件Google在GitHub开源ABFS