先了解这件事
AI 综述
2026年10月21日,LMSYS发布博客介绍SGLang的Elastic EP Scaling(弹性专家并行扩展)。该机制让MoE部署无需整副本或重启,即可按细粒度增量加入GPU;示例中从20 GPU扩到24 GPU。启动时由max_ep_size预留元数据与通信缓冲容量,新rank按需启动。在8×H100上用DeepSeek-V3-Lite FP8测试,首个完成请求比重启快5.3×–8.2×。LMSYS同时说明,加入rank进入Mooncake WORLD后暂不支持自动回滚,收尾失败可能需重启部署。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
SGLang 的弹性专家并行扩展：用 NIXL 在线扩容 MoE 部署事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月21日
LMSYS Blog一手
SGLang 的弹性专家并行扩展：用 NIXL 在线扩容 MoE 部署
SGLang 的 Elastic EP Scaling 让 MoE 部署无需整副本或重启即可按细粒度增量加入 GPU，20 GPU 示例中扩到 24 GPU。max_ep_size 在启动时预留元数据与通信缓冲容量，新 rank 按需启动；在 8×H100 上用 DeepSeek-V3-Lite FP8 测试，首个完成请求比重启快 5.3×–8.2×。加入 rank 进入 Mooncake WORLD 后暂不支持自动回滚，收尾失败可能需重启部署。