先了解这件事
AI 综述
2026年1月26日,SGLang RL团队在slime框架上复现并落地了INT4量化感知训练(QAT)端到端方案。该方案训练侧采用假量化加STE,推理侧采用W4A16真实量化,使约1TB规模的K2类模型可装入单张H200(141GB)。消融实验显示,训练端假量化与推理端真实量化必须同时开启,否则训练与推理的logprob差异会明显增大。在Qwen3-235B-A22B和Kimi-K2-Thinking上,BF16训练加INT4推理的奖励与评测分数走势与BF16、FP8方案基本重合。团队称INT4的主要收益来自显存压缩带来的单节点rollout,因为H系列GPU没有原生INT4 Tensor Core,其计算速度与FP8大致同档。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
1月26日
LMSYS Blog一手
SGLang RL 团队实现 INT4 QAT 端到端 RL 训练，单张 H200 跑约 1TB 模型
SGLang RL 团队在 slime 框架上复现并落地了 INT4 QAT 端到端方案，训练侧用假量化加 STE，推理侧用 W4A16 真实量化，使约 1TB 规模的 K2 类模型可装入单张 H200（141GB）。消融实验显示，训练端假量化与推理端真实量化必须同时开启，否则训练与推理的 logprob 差异会明显增大；在 Qwen3-235B-A22B 和 Kimi-K2-Thinking 上，BF16 训练加 INT4 推理的奖励与评测分数走势与 BF16、FP8 方案基本重合。团队称 INT4 的主要收益来自显存压缩带来的单节点 rollout，因为 H 系列 GPU 没有原生 INT4 Tensor Core，其计算速度与 FP8 大致同档。