先了解这件事
AI 综述
2026年4月29日,LMSYS为SGLang的强化学习工作负载引入基于RDMA的点对点权重更新机制,作为传统NCCL broadcast的补充,兼容所有主流开源模型。据LMSYS Blog同日发布的信息,该机制通过源侧CPU引擎副本和Mooncake TransferEngine的零拷贝传输,让所有训练rank参与发送各自分片,以减少网络冗余并让推理服务更快恢复rollout。在1T参数的Kimi-K2上,权重传输时间从53秒降至7.2秒,代价是每个训练rank在CPU内存上多占用一个32G的推理引擎副本。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
4月29日
LMSYS Blog一手精选
LMSYS 为 SGLang 引入 RDMA P2P 权重传输，1T 参数模型更新提速 7 倍
LMSYS 为 SGLang 的 RL 工作负载引入基于 RDMA 的点对点权重更新机制，作为传统 NCCL broadcast 的补充，兼容所有主流开源模型。在 1T 参数的 Kimi-K2 上，权重传输时间从 53 秒降至 7.2 秒，代价是每个训练 rank 在 CPU 内存上多占用一个 32G 的推理引擎副本。该设计通过源侧 CPU 引擎副本和 Mooncake TransferEngine 的零拷贝传输，让所有训练 rank 参与发送各自分片，减少网络冗余并让推理服务更快恢复 rollout。