先了解这件事
AI 综述
2026年8月17日,NVIDIA公布Nemotron 3.5 Lightning的NVFP4量化感知蒸馏方案。该方案使用Model Optimizer和冻结的BF16教师模型,以弥补激进量化造成的精度损失,将模型体积从66 GB压缩至22 GB,并实现最高4倍吞吐量。最终采用的保守量化版本在Terminal-Bench v2.1、SWE-Bench Multilingual等智能体评测中优于训练后量化(PTQ)版本。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：NVIDIA Developer · Generative AI
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
8月18日
NVIDIA Developer · Generative AI一手
NVIDIA 用 QAD 打造 Nemotron 3.5 Lightning NVFP4：吞吐提升 4 倍、体积压至 22GB
NVIDIA 通过量化感知蒸馏（QAD）将 Nemotron 3.5 Lightning 压缩为 NVFP4 checkpoint，体积从 66GB 降至 22GB，吞吐最高提升 4 倍。该流程先用 PTQ 生成 W4A16 量化学生模型，再用 KL 散度损失将冻结的 BF16 教师模型蒸馏进学生模型；中间 checkpoint 上中位精度恢复率从 96.33% 提升至 99.72%、从 95.84% 提升至 98.53%，内存占用同为 21.19GB。最终 checkpoint 已在 Hugging Face 开放下载。