Hao AI Lab 用 vstack 在 SGLang 发现 20+ 并发缺陷
(2/8) Weight-update race condition: after an in-place pause in an RL loop, a weight update can overwrite weights while an in-flight step is still reading them.
AI 导读
Hao AI Lab 与 SGLang 社区用 vstack 在 SGLang 中找出 20+ 个并发与多步状态缺陷,并提交修复 PR。其中权重更新竞态在 GB200 上修复前 8/8 次试验中在途步骤用新权重算出 token、logprob 和 KV,修复后为 0/8;decode server 卡死 364.69 秒期间 /health 仍 363/363 返回 200。修复方式包括参数写入前加 GPU stream 等待、只限制新预分配等。
正文 · AI 翻译
(2/8) 权重更新竞态条件:在 RL 循环中进行原地暂停后,权重更新可能会覆盖权重,而此时仍在途的步骤仍在读取这些权重。
这破坏了 rollout 策略隔离:在暂停之前启动的前向步骤必须在权重更新更改权重之前完成对旧权重的读取。
在默认的重叠调度器下,原地暂停会立即返回,而已经启动的步骤继续在 GPU 的前向流上运行。参数写入在调度器流上运行,其屏障只等待模型层之前的输入元数据读取,因此新权重可能在步骤中途落地而不会报错。
在 GB200 上,修复前在途步骤在 8 次试验中的 8 次都使用更新后的权重计算出了 token、logprob 和 KV,修复后为 8 次中的 0 次。在参数写入之前添加 GPU 流等待可确保前向步骤先完成。
PR:https://t.co/akyxGsdGu2
AI 热点