←搜索结果

搜索“NVIDIA”

按匹配度 · 共 62 条结果 清除搜索

星期三

  1. LMSYS Blog精选

    LMSYS 为 SGLang 引入 RDMA P2P 权重传输，1T 参数模型更新提速 7 倍

    LMSYS 为 SGLang 的 RL 工作负载引入基于 RDMA 的点对点权重更新机制，作为传统 NCCL broadcast 的补充，兼容所有主流开源模型。在 1T 参数的 Kimi-K2 上，权重传输时间从 53 秒降至 7.2 秒，代价是每个训练 rank 在 CPU 内存上多占用一个 32G 的推理引擎副本。该设计通过源侧 CPU 引擎副本和 Mooncake TransferEngine 的零拷贝传输，让所有训练 rank 参与发送各自分片，减少网络冗余并让推理服务更快恢复 rollout。

    ngine replica (32G) per training rank on CPU memory. These optimizations minimize network redundancy and allow inference servers to resume rollout significantly faster. Background NVIDIA's NCCL optimizes primitives like all-gather and broadcast by auto-detecting hardware topology and coordinating data flow via ring or tree algorithms. As the default communication backend for PyTorch FSDP, DeepSpeed, and Megatron-LM, it is the industry standard for symmetric training. However, it relies on collec

    匹配字段正文

    #company#开源/仓库#部署/工程#数据/训练

星期一

  1. LMSYS Blog

    SGLang RL 团队实现 INT4 QAT 端到端 RL 训练，单张 H200 跑约 1TB 模型

    SGLang RL 团队在 slime 框架上复现并落地了 INT4 QAT 端到端方案，训练侧用假量化加 STE，推理侧用 W4A16 真实量化，使约 1TB 规模的 K2 类模型可装入单张 H200（141GB）。消融实验显示，训练端假量化与推理端真实量化必须同时开启，否则训练与推理的 logprob 差异会明显增大；在 Qwen3-235B-A22B 和 Kimi-K2-Thinking 上，BF16 训练加 INT4 推理的奖励与评测分数走势与 BF16、FP8 方案基本重合。团队称 INT4 的主要收益来自显存压缩带来的单节点 rollout，因为 H 系列 GPU 没有原生 INT4 Tensor Core，其计算速度与 FP8 大致同档。

    End-to-end QAT INT4 pipeline

    d. As an industry “good enough” quantization standard, INT4 strikes a rational balance across performance, risk, and maintenance cost. That said, we also plan to explore FP4 RL on NVIDIA Blackwell GPUs in the future. For training, we use the classic combination of fake quantization + STE. By maintaining BF16 master weights, simulating quantization noise in the forward pass, and passing gradients straight through in the backward pass, we maximize convergence and stability in low-precision trainin

    匹配字段正文

    #company#开源/仓库#数据/训练#部署/工程