AI 热点

Hao AI Lab 用 vstack 修复 SGLang 多 GPU 通信错位

UCSD Hao AI Lab更新于 11月18日 02:32

(5/8) Multi-GPU rank mismatch: under DP attention with the prefill delayer and interval min batch size, two DP ranks enter different collectives and exit.

AI 导读

Hao AI Lab 用 vstack 在 SGLang 上定位并修复了 DP attention 下 prefill delayer 与 interval min batch size 引发的多 GPU rank 错位:忙 rank 跳过 prefill 直接进入每轮同步,空闲 rank 却进入 delayer 协商,通信库随即中止。让延迟 prefill 的 rank 以零 prefill 仍参与协商后,GB200 上 30 次跨阈值运行全部完成、无中止。

正文 · AI 翻译

(5/8) 多 GPU rank 错位:在 DP attention 下,配合 prefill delayer 与 interval min batch size,两个 DP rank 进入了不同的集合通信并退出。

这破坏了多 GPU 的锁步执行:每个共享通信组的 rank 在每一步都必须以完全相同的顺序执行完全相同的集合通信。

每个 rank 在决定是否延迟 prefill 时都会检查自己当前的运行 batch size。当一个 rank 达到阈值而另一个低于阈值时,繁忙的 rank 会跳过 prefill 直接进入每轮同步,而空闲的 rank 则在同一个 CPU 组上进入 prefill-delayer 协商,导致通信库中止。

让延迟 prefill 的 rank 以零 prefill 仍参与 delayer 协商,可使所有集合通信保持对齐,在 GB200 上完成了 30 次跨阈值运行中的 30 次,且无中止。

PR:https://t.co/lhGKES67Cw

来源

UCSD Hao AI Lab