先了解这件事
2026年8月17日,SGLang 团队发布技术博客,宣布围绕统一 runner/backend 接口重构 CUDA Graph 支持,并将由 SGLang 首创并开源的 Breakable CUDA Graph(BCG)设为 prefill 的默认策略。博客介绍,BCG 以 521 行代码实现与 torch.compile 分段方案(1,771 行)相同的分段执行,构建 prefill 图快 3.8–5.2 倍;在 gpt-oss-120b(TP4,4×GB300)上,BCG 比 eager 快 1.70 倍,完整捕获达 1.93 倍。博客还介绍了 prefill 的完整 CUDA Graph 捕获、显存复用机制,以及与 Meta PyTorch 团队合作拆出的独立库 meta-pytorch/breakable-cuda-graphs。目前该事实仅有这一条官方来源,暂无后续发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
8月17日
LMSYS Blog一手
SGLang 详解 CUDA Graph 进阶技术：BCG 成为 prefill 默认方案
SGLang 团队发布技术博客，介绍其围绕统一 runner/backend 接口重构的 CUDA Graph 支持，其中由 SGLang 首创并开源的 Breakable CUDA Graph（BCG）现已成为 prefill 的默认策略。BCG 用 521 行代码实现与 torch.compile 分段方案（1,771 行）相同的分段执行，构建 prefill 图快 3.8–5.2 倍；在 gpt-oss-120b（TP4，4×GB300）上，BCG 比 eager 快 1.70 倍，完整捕获达 1.93 倍。博客还介绍了 prefill 的完整 CUDA Graph 捕获、显存复用机制，以及与 Meta PyTorch 团队合作拆出的独立库 meta-pytorch/breakable-cuda-graphs。