端到端 4 比特训练Jack Cook 与 Thinking Machines 的其他人合作 2026 年 11 月 13 日Claude Monet, The Seine at Vétheuil, posterized to sixteen colours

克劳德·莫奈的 《韦特伊的塞纳河》,被“量化”为 16 种颜色

训练大型语言模型涉及计算和存储大量数字。对每个数值使用更少的比特可以减少内存占用,并让 GPU 更快地执行计算。然而,这里存在一个权衡:更少的比特也意味着可表示的数值更少,从而导致更激进的舍入。更低精度的表示最终会因给计算引入误差而损害准确率。

例如,假设我们想存储数字 3.2,但我们的数值格式能表示的最接近的值是 3 和 4。舍入到 3 会引入 −0.2-0.2−0.2 的 量化误差 ,即实际值与量化格式所能表示的值之间的差。像这样的单个误差看似很小,但这些误差会在训练过程中不断累积,因为舍入会在各层和各个优化步骤中反复发生,从而可能损害学习过程。

这就是低精度训练的核心挑战:我们如何在享受更快算术运算的同时,不引入干扰学习的误差?

我们通过在训练期间使用三种关键数值格式来管理这一权衡:BF16、MXFP8 和 NVFP4。每种格式的精度是固定的,但其速度取决于所使用的硬件。我们在 NVIDIA 的 Grace Blackwell Ultra 平台 GB300 上进行训练,该平台专为利用 NVFP4 优化矩阵乘法而设计。值得注意的是,NVFP4 的存储比特数比 BF16 少 3.6 倍,但在 GB300 上运行速度最高可快 6 倍。

数值格式
数值格式每值比特数GB300 PFLOPS
NVFP4(4 × 16 + 8) ÷ 16 = 4.515
MXFP8(8 × 32 + 8) ÷ 32 = 8.255
BF16162.5

GB300 上的 NVFP4 加速在大规模推理中非常有用,此时权衡更倾向于速度。但与 BF16 和 MXFP8 相比,该格式会大幅增加量化误差。这种误差在训练的不同阶段影响程度不同,必须针对每个阶段分别考虑这种权衡:预训练和监督微调(SFT)中的前向与反向传播,以及强化学习(RL)中的采样与训练。

我们在训练不同阶段的优先事项
风险收益
最小化误差最小化偏差提升速度减少内存占用
预训练前向3 个对勾—2 个对勾—
预训练反向1 个对勾3 个对勾2 个对勾—
RL 采样器3 个对勾—3 个对勾3 个对勾
RL 训练器1 个对勾3 个对勾1 个对勾—

速度在大规模步骤中最为重要:预训练要处理数万亿个 token,RL 采样在每次 rollout 中要生成数万个 token。每个被采样的 token 还需要从全局内存中加载模型权重,其成本随存储权重所需的比特数而增长。

更新权重的反向传播会对一个批次中的许多 token 取平均,这稀释了随机分布的舍入误差的影响。然而,反向传播对量化偏差非常敏感,这种偏差在量化过程中数值持续向上或向下舍入时产生。这种偏差不会相互抵消,反而会在各层、各样本和各训练步骤中累积。

在训练 Inkling 2 Small 时,我们做出了以下决定:

  • 在前向传播的专家层中使用 NVFP4 精度,并由专用内核提供支持。
  • 在反向传播中使用 MXFP8 精度,并配合重量化和随机舍入,这些技术用于减少梯度偏差。
  • 用于加速 GPU 通信的量化技术,这缓解了我们在加快计算速度后出现的瓶颈。

Inkling 2 Small 是我们所知最大的、以原生 4 比特前向传播进行 端到端 训练的模型。我们从预训练开始到最终的 RL rollout,都以相同的方式配置数值格式。这使训练更简单,并消除了在训练结束时交付量化检查点所需的校准。在我们最大的任务中,与完整的 MXFP8 训练相比,该方案在预训练中为我们带来了 8% 的实际耗时加速,在 RL 中带来了 20% 的加速。在本文中,我们将解释实现这一目标的具体细节。

选择量化目标

理想情况下,我们希望在对模型准确率影响最小的地方降低精度,同时提供可观的整体加速。最符合这一特征的层是混合专家(MoE)层,它们计算开销大,并且根据经验,量化时对准确率的损害往往小于其他层。

今年早些时候,我们对 MoE 层实施了完整的 MXFP8 训练,发现它几乎不影响我们模型的计算效率(CE),CE 是衡量引入新技术时训练和评估损失如何变化的指标。使用 MXFP8 预训练 LLM 的方法,Mishra 等,2025, 神经语言模型的缩放定律,Kaplan 等,2020 然而,我们最初使用完整 NVFP4 训练的实验导致模型 CE 大幅下降,准确率退化超出我们可接受的范围。

在分别隔离 NVFP4 量化在前向和反向传播中的影响时,我们发现专注于前向传播通常能在速度和准确率之间提供更好的权衡。但仅量化前向传播会对与反向传播、GPU 通信等的交互产生诸多影响。为了理解这些,我们首先详细考察 NVFP4 的工作原理。

Blackwell 上的低精度格式

四个比特最多可表示 16 个不同的值:就 FP4 而言,这些值是 ±{0,0.5,1,1.5,2,3,4,6}\pm\{0, 0.5, 1, 1.5, 2, 3, 4, 6\}±{0,0.5,1,1.5,2,3,4,6}。明显的局限在于表示大于 6 的数,这通过 块缩放:存储一个缩放因子,用它乘以一个连续块中的所有值。NVFP4 根据每个由 16 个连续值组成的块中最大的值(按绝对值)来缩放该块。例如,如果该值是 −54-54−54,它就会被表示为 −6-6−6,缩放因子为 9,块中的每个值都会基于该缩放进行舍入。

Blackwell GPU 还提供微缩放(MX)格式,例如 MXFP4 和 MXFP8,它们以 32 个值为一个块进行缩放。OCP 微缩放格式(MX)规范, Rouhani 等,2023 这些缩放因子所使用的格式也有所不同:NVFP4 的缩放因子是 E4M3,因此精度更高但范围有限;而 MXFP4/MXFP8 的缩放因子是 E8M0,精度低得多,但能表示非常宽的值域。E4M3 表示一种 8 位浮点格式,含一个隐式符号位、四个指数位和三个尾数位。E8M0 有八个指数位,没有符号位,也没有尾数位。NVFP4 缩放因子所提供的更高精度,往往能在 LLM 工作负载中更准确地表示输入数据,从而比 MXFP4 产生更小的量化误差。

下面的工具演示了 NVFP4 块缩放的工作原理,以及它如何产生量化误差:本文中的所有图表均使用 Inkling 2 Small 制作。

高精度值

96×6=576

量化误差:−17.7

E4M3 缩放因子

符号指数尾数

(−1₂)0₂ × 10₂(1101₂ − 0111₂) × 1.100₂

= 96

E2M1 值

符号指数尾数

(−1₂)0₂ × 10₂(11₂ − 01₂) × 1.1₂

= 6

一个由 FP4 数值和 FP8 缩放因子重建的 NVFP4 值。编辑输入或各个位,以探索其表示方式。灵感来自 float.exposed.

FP4 与 FP8 的这种组合使 NVFP4 能够表示低至 2−102^{-10}2−10、高至 2688 的量级。在实践中,我们常常需要表示超出此范围的值,因此 NVFP4 通常还会配合一个第二层的外部缩放因子使用,该因子以 FP32 保存,并应用于一个非常大的值组,例如整个张量。这样,每个量化值都可以重建为 xiFP4×xi//16FP8×xFP32x^{\text{FP4}}_i \times x^{\text{FP8}}_{i//16} \times x^{\text{FP32}}xiFP4​×xi//16FP8​×xFP32,这实际上让我们能够将可表示范围整体上移或下移。例如,将 xFP32x^{\text{FP32}}xFP32 设为 2,可将可表示量级的范围从 [2−10,2688][2^{-10}, 2688][2−10,2688] 移到 [2−9,5376][2^{-9}, 5376][2−9,5376];将其设为 0.5 则会将范围向相反方向移动。

块缩放的向后传播

网络的前向传播将量化后的激活值与量化后的权重相乘:y=xqwqTy = x_q w_q^Ty=xq​wqT​。使用 NVFP4 计算点积时,会取 xqx_qxq​ 某一行中的 16 个值组成的块和 wqTw_q^TwqT​ 某一列中的 16 个值组成的块,将对应值两两相乘,然后将总和乘以每个块的缩放因子。

要计算反向传播,我们需要转置前向传播中的张量:dx=gwqdx = g w_qdx=gwq​ 和 dw=gTxqdw = g^T x_qdw=gTxq​。此时,块取的是 xqx_qxq​ 的 列 和 wqTw_q^TwqT​ 的 行 中的 16 个值:每个值都与 15 个不同的邻居分在一组,从而产生不同的缩放因子和不同的量化表示值。下图展示了将块缩放从按行改为按列的影响,在此例中,这导致大多数值被舍入为零。

1×16 缩放因子16×1 缩放因子

高精度

一个 16×16 的高精度数据块

NVFP4

256 个值中有 256 个保留:每个行组都适配自己的缩放因子

大值所在行得以保留:19 个小值也得以保留;其余 221 个值舍入为零

保留大值舍入为零缩放因子组
对一个包含整行大值的类似数据块进行量化。为每一行单独使用 1×16 缩放因子可保留所有值;而改为为每一列使用 16×1 缩放因子,则会让大值所在行决定每一列的缩放因子,大多数小值会被冲刷为零。纵轴为对数高度刻度,小值差异已放大。

这会造成前向传播和反向传播中所用张量之间的不匹配,进而可能导致梯度计算不准确。对于权重张量,NVIDIA 提出了一个直接的解决方案:不再为每个 1×16 块计算缩放因子,而是根据每个 16×16 方形块中的最大值计算单个缩放因子,从而在张量转置时保持缩放因子不变。用 NVFP4 预训练大型语言模型, NVIDIA 等,2025;另见 DeepSeek-V3 技术报告, DeepSeek-AI 等,2024。

这种方法的主要缺点是可能导致大量值下溢。将块大小从 16 个值增加到 256 个值,会使其对离群值高度敏感:256 个值中只要有一个大值,就可能把缩放因子推高,导致其余值被舍入为零。

1×16 缩放因子16×16 缩放因子

高精度

一个 16×16 的高精度数据块

NVFP4

256 个值中有 241 个保留:离群值所在的 1×16 组在其周围被舍入为零

只有离群值保留:所有其他值都舍入为零

保留大值舍入为零缩放因子组
对一个包含一个大离群值的数据块进行量化。与对整个 16×16 块使用单个缩放因子相比,为每个 1×16 组使用单独的缩放因子可限制小值的损失。纵轴为对数高度刻度,小值差异已放大。

我们尝试了这种方法,但最终发现按 16×16 块计算缩放因子过于粗糙,对 CE 的损害超出了我们能接受的范围。要让 NVFP4 训练奏效,我们需要用 1×16 缩放因子量化权重,同时避免块缩放转置过程中引入的不匹配。

使用随机舍入进行重量化

使用 16×16 块消除了这种不匹配,因为它使前向传播和反向传播之间能够实现逐位相同的表示——wq=(wqT)Tw_q = (w_q^T)^Twq​=(wqT​)T——但完全一致并非严格必要。关键要求是,前向传播和反向传播中所用的张量在 期望上:E[wq]=E[(wqT)T]E[w_q] = E[(w_q^T)^T]E[wq​]=E[(wqT​)T]。保持期望值解决了反向传播中的偏差问题,而放宽对逐位相等的要求,则为之前提出的转置问题提供了几种不同的解决思路。

我们选择了一种直接的方案:将前向传播中的张量反量化,以更高精度进行转置,然后用 随机舍入 (SR)重新量化。与标准量化(也称为就近舍入量化)不同,SR 会以概率方式将每个值向上或向下舍入,其概率与它到相邻值的距离成反比。

例如,假设前向传播张量中有一个值为 5.4,在一个缩放因子为 9 的块中被量化。5.4 除以 9 等于 0.6,舍入到最近的 FP4 值 0.5。前向传播中使用的量化值为 4.5,这正是我们现在希望在反向传播中(在期望意义上)恢复的值。

我们可以对这个值进行反量化,使其以高精度表示,但在反向传播中,该值现在被归入不同的块。假设它的新缩放因子为 2。如果我们用 NVFP4 重新量化,4.5÷2=2.254.5 \div 2 = 2.254.5÷2=2.25 现在需要被量化为 FP4。确定性舍入会将其表示为 2,量化值为 2⋅2=42 \cdot 2 = 42⋅2=4。而随机舍入则有四分之三的概率将其舍入为 2,四分之一的概率舍入为其上方最近邻 3。前向传播中的值 4.5 在重新量化后于期望意义上得以保留:2scale⋅(0.75⋅2+0.25⋅3)=4.52_{\text{scale}} \cdot (0.75 \cdot 2 + 0.25 \cdot 3) = 4.52scale​⋅(0.75⋅2+0.25⋅3)=4.5。关键在于,随机舍入在 Blackwell GPU 上还有硬件加速支持。

在设计这一方案时,我们从 Quartet II 中获得了灵感,它同样会对前向传播中的张量进行重新量化。Quartet II:通过改进的无偏梯度估计在 NVFP4 中实现准确的 LLM 预训练, Panferov 等,2026 但 Quartet II 并未采用逐元素 SR,而是应用随机旋转和偏差校正项,从而在反向传播中使用 NVFP4 时降低方差。像我们这样直接将 SR 应用于反量化值的一个好处是,它让我们可以在重新量化时选择任意精度。我们发现,将权重和激活以随机方式重新量化为 MXFP8,然后使用 MXFP8 矩阵乘法计算梯度,能在精度和速度之间取得最佳权衡。

FP32BF16MXFP8NVFP4
我们的量化线性层:前向传播中使用 NVFP4 计算,反向传播中使用 MXFP8 计算,并在重新量化保存的激活和权重时采用随机舍入。

量化通信

借助新的 NVFP4 矩阵乘法(GEMM),我们的 MoE 层前向传播理论上应比 MXFP8 实现快约三倍。但在降低精度后,我们注意到遇到了一个瓶颈:专家并行期间的通信。

由于 MoE 层通常非常大,将专家拆分到不同 GPU 上是常见做法。在计算 MoE 层时,一个小型路由器决定每个 token 应发往何处,随后 token 被 分发 到包含所路由专家的 GPU。完成 GEMM 后,这些被路由专家的计算结果被返回源 GPU 并 合并 ,以生成 MoE 层的最终输出。在 NVIDIA GB300 NVL72 系统上,token 通常通过 NVLink 传输,其每个方向的带宽为 900 GB/s。与此同时,NVFP4 GEMM 的运行速度最高可达 15 PFLOPS。将两者相除,每块 GPU 在接收一个字节的时间内可以执行多达 16,000 次浮点运算。除非到达的每个字节都至少带来如此多的计算量,否则 Tensor Core 就会空闲等待 NVLink。

我们发现这种不平衡造成了瓶颈:要么 MoE GEMM 因等待接收分发的 token 而无法执行,要么后续操作(在 Inkling 2 Small 中为短卷积)因等待接收合并的 token 而无法启动。在分发阶段,我们通过以 NVFP4 分发 token 来避免这一问题。与 Quartet II 一样,我们的反向传播使用前向传播中量化的——而非高精度的——激活值进行计算(注意 图 4中权重梯度(WGRAD)计算的输入),这减少了通过 NVLink 发送的数据量,足以缓解分发瓶颈。然而在合并阶段,输出激活需要保持较高精度(默认为 BF16),以避免损害模型性能。

我们通过对合并期间传输的数据也进行量化来缓解通信瓶颈。我们最初尝试将结果激活量化为 MXFP8,但发现由于 MXFP8 对离群值的表示能力较差,这会严重损害性能。相反,我们发现先执行 32 维随机 Hadamard 变换(RHT),然后量化为块缩放的 S2F6(另一种 8 位格式),在训练期间没有造成可测量的精度下降。

16 位合并8 位合并
  • 分发全对全
  • w13 GEMM
  • 量化
  • w2 GEMM
  • 合并全对全
细粒度重叠与专家波次,如 DeepSeek-V4 中所述。DeepSeek-V4:迈向高效百万 token 上下文智能, DeepSeek-AI 等,2026 在合并期间量化数据可减少图中右侧合并的尾部延迟,从而加速 MoE。

RHT 会施加一种旋转,这往往能平滑输入数据。当输入数据包含离群值时,这可以减少量化误差。已有研究表明,在低精度下,整数格式通常比浮点格式能更准确地表示经 RHT 变换的数据。INT 与 FP:细粒度低位量化格式的综合研究, Chen 等,2025, 弥合微缩放 FP4 量化的承诺与性能之间的差距,Egiazarian 等,2025 S2F6 是一种 定点格式 ,具有两个有符号整数位和六个小数位,可表示从 −128/64-128/64−128/64 到 127/64127/64127/64 的线性插值值,与整数格式非常相似。下图展示了 Hadamard 变换如何平滑输入数据,使我们能够以更小的缩放因子对其进行量化,从而减少量化误差。

高精度数据

RHT 之后

数值离群点(|v| ≥ 200)
随机 Hadamard 变换在保持总能量不变的同时更均匀地分散数值,并且作为一种正交变换,它之后可以被精确地逆变换以恢复原始数据。红点追踪的是变换前属于离群点的数值。

方便的是,Blackwell GPU 包含专用的 PTX 指令,可高效地在块缩放 S2F6(带 FP8 缩放因子)与其它格式之间转换数据:cvt.rn.dst.src 表示从 src 到 dst 的数据类型转换。更多细节请参阅 PTX ISA 。

cvt.frnd2.satfinite{.relu}{.scaled::n2::ue8m0}.s2f6x2.f32
    d, a, b{, scale-factor};
cvt.frnd2.satfinite{.relu}{.scaled::n2::ue8m0}.s2f6x2.bf16x2
    d, a{, scale-factor};
cvt.rn{.satfinite}{.relu}{.scaled::n2::ue8m0}.bf16x2.s2f6x2
    d, a{, scale-factor};

这使我们能够为该数据类型实现非常高效的内核。在每块 GPU 上计算完 MoE 输出后,在 w2 分组 GEMM 的收尾阶段,我们高效地计算 RHT 并量化为块缩放 S2F6,每 32 个值使用一个缩放因子。在接收数据的同时,数据会被即时反量化并聚合,随后再执行 RHT 的逆变换。这将合并阶段传输的数据量从每个值 16 位减少到每个值 8.25 位,从而缩短合并尾部延迟并加速 MoE 层,如 图 5.

低精度训练内核

要充分利用 NVFP4,需要专用内核,我们已为低精度配方在内部开发了这些内核。我们的 MoE 融合内核栈代号为 BBBK,即 Big Beautiful Blackwell Kernel。它以峰值硬件利用率支撑训练和推理,同时保持完全确定性的计算。

MoE 层的计算过程通常以矩阵乘法为主。我们使用 GB300 独有的最大 2SM UMMA 指令(K=96)使 Tensor Core 饱和运行,并由 6 级被乘数流水线和 7 级缩放因子流水线供给。然而,我们的精度配方也对 GPU 的算术逻辑单元(ALU)提出了很高要求。即使 Tensor Core 已饱和,内核仍可能在 ALU 密集的步骤上停顿,例如计算缩放因子、重新量化权重、应用随机舍入以及合并数据传输。

为消除这些停顿,BBBK 尽可能让更多硬件流水线同时饱和运行。例如,我们将 RHT 和 S2F6 量化直接融合进 w2 GEMM 的收尾阶段。更广泛地说,我们将激进的收尾融合与 ALU 向量化、指令调度、寄存器规划与打包以及推测性巨型内核调度相结合。在训练中,BBBK 同时使 NVLink、ALU 和 Tensor Core 饱和运行;而在 RL 采样中,它达到了由 NVLink 和 HBM 设定的延迟下限。

配方细节

我们从其他几项关于 NVFP4 训练的现有工作中获得灵感,以完善我们的配方。我们将最后 16.6% 的层保持为更高精度,用 MXFP8 而非 BF16 进行计算。NVIDIA 的配方将此比例设为 15%,但在我们的预训练阶梯中,层数按 6 倍缩放,因此将比例设为 ⅙ 在我们的设置中效果很好。在量化激活值时,我们使用 Four Over Six(4/6),这是一种在 NVFP4 量化期间在两个缩放因子之间进行选择以减少量化误差的技术。Four Over Six:通过自适应块缩放实现更精确的 NVFP4 量化,Cook 等,2025;另请参阅 Ziang Li 的文章 ,其中对该技术有很好的解释。在量化权重时,我们不使用 4/6。

受 Composer 2 启发,我们在量化权重时使用按专家的外部缩放,在量化激活值时使用按 token 的外部缩放,从而实现更高效率、批次不变性,并且无需担心因果泄漏。Composer 2 技术报告,Cursor 等,2026 在我们最大规模的训练任务中,该配方在 SFT 和 RL 期间均无需改动即可奏效。在预训练 Inkling 2 Small 时,它带来约 2% 的计算效率损失,这意味着与使用 MXFP8 训练相比,模型达到相同损失所需的 FLOPs 约多 2%,以此换取 NVFP4 带来的加速。在 RL 中收益要大得多:端到端显著加速,且奖励没有可察觉的差异。

结语

十年前,人们尚不清楚神经网络能否以每参数少于 32 位的精度进行训练:直到 2020 年 BF16 随 Ampere 首次登陆 NVIDIA GPU 时,默认格式仍是 FP32。NVIDIA Ampere 架构深入解析,Krashinsky 等,2020 如今,我们常常将 BF16 称为“高精度”,并且我们已经找到了使用 8 位甚至 4 位格式进行训练的稳健用例!NVIDIA 具有前瞻性的硬件设计使这些进步成为可能,我们深受启发。我们将继续推进:我们正在积极探索支持反向传播 FP4 计算的配方,以及我们的配方在 NVIDIA 最新的 Vera Rubin 系统上将如何演进。

我们训练前和训练后的加速,是科学与工程领域一系列改进的成果,涉及技术栈的每个部分,并且相互叠加。几个月前,训练一个规模与 Inkling 2 Small 相近的模型需要数周时间;而 Inkling 2 Small 在 GB300 NVL72 机架上仅用 68 小时就完成了预训练。我们的数值配方只是众多改进中的一部分,我们仍在持续迭代。

我们在每次实验和训练运行中都在汲取新的经验,期待在未来的文章中与大家分享更多。

引用

请按如下方式引用本工作:

Cook, Jack and Thinking Machines Lab, "End‑to‑End 4‑Bit Training",
Thinking Machines Lab: Connectionism, Nov 2026.

或使用 BibTeX 引用:

@article{cook2026lowprecision,
  author = {Jack Cook and Thinking Machines Lab},
  title = {End‑to‑End 4‑Bit Training},
  journal = {Thinking Machines Lab: Connectionism},
  year = {2026},
  note = {https://thinkingmachines.ai/blog/end-to-end-4-bit-training/},
}
上一页 返回顶部