我们最近推出了 Zyphra 分层注意力(ZHA;见 论文 和 博客),这是一种次二次注意力方法,它使用压缩 KV 缓存摘要构成的树,从任意长的上下文中高效检索相关信息。我们证明了 ZHA 可以通过一种成本异常低廉的蒸馏流程应用于现有的预训练语言模型,同时在具有挑战性的推理、检索和智能体基准测试上保持性能。与 DSA、MSA 或 QSA 等其他稀疏注意力方法只能带来常数因子加速不同,我们的 ZHA 会随着序列长度增加而增加树深度(已证明在多达 6 层时仍能保持性能),再结合我们的 top-p 选择机制,从而实现注意力计算真正次二次方的扩展。然而,我们最初的实验仅限于 30B 参数范围内的模型。

在此,我们将 ZHA 扩展到目前可用的部分规模最大、能力最强的开放权重模型,包括 Qwen3.8-2.4T-A95B、Nemotron-3.5-Super 和 MiMo-V2.6-Pro。我们发现,ZHA 转换在规模扩大后依然效果显著,通常能保持模型能力,几乎没有或完全没有性能下降,包括在具有挑战性的长上下文评估中(例如,我们观察到 Qwen 在 1M RULER 上的性能下降不到 2%)。

然而,ZHA 的计算扩展性关键取决于模型注意力分布的底层结构。我们发现 Qwen 始终呈现干净的次线性幂律扩展,而其他架构则表现出更复杂的行为,包括前几层中近似均匀的注意力分布以及异常的长上下文扩展。这些结果表明,在前沿规模上实现真正次二次注意力,主要障碍可能不是稀疏注意力算法本身,而是能否在底层模型骨干中训练出结构足够良好的注意力分布。

引言

两周前,我们推出了 Zyphra 分层注意力(ZHA),这是一种稀疏注意力的新方法,能够克服标准 Transformer 的二次方扩展瓶颈。

ZHA 的核心思想很简单:我们不再搜索整个 KV 缓存来确定哪些 token 与特定查询相关,而是构建一个由缓存压缩摘要组成的分层树。在执行注意力时,我们自上而下遍历这棵树,首先识别上下文中相关的大区域,然后逐步缩小搜索范围,直到抵达原始的键和值。

由于我们可以丢弃不相关的区域而无需检查其中包含的每个 token,搜索上下文本身所需的工作量可以随序列长度次线性增长。这正是 ZHA 与 DSA 或 MSA等稀疏注意力方法的区别所在,后者的索引器仍然需要扫描完整上下文。

ZHA 一个特别有用的特性是,我们不需要从头训练新的语言模型。相反,我们可以转换现有的预训练模型:冻结其骨干,并训练一组非常小的参考查询来复现原始模型的注意力分布。在我们最初的论文中,我们证明了该流程可以在仅关注 KV 缓存一小部分的情况下,保持模型在困难数学推理、长上下文检索和智能体编码基准测试上的性能。

然而,这些实验仅限于相对较小的模型,即 Qwen3.6-35B-A3B 和 Nemotron-3.5-Lightning-30B-A3B。一个自然的问题是,同样的方法是否仍适用于规模大得多的前沿级模型。特别是,转换过程是否会随着模型规模增大而变得更加困难?维持性能是否需要越来越多的蒸馏?而且,也许最重要的是,这些更大模型的注意力分布是否真的支持 ZHA 旨在利用的次二次扩展?

为了回答这些问题,我们转换了几个具有显著不同架构和训练历史的前沿开放权重模型。

Top-p 扩展的重要性

在讨论各个模型之前,有必要简要回顾我们原始论文中的一个重要观点:注意力稀疏性与长序列统计结构之间的关系。

ZHA 使用 top-p 选择机制来确定要探索上下文的哪些区域。对于给定的注意力分布,top-p 集合是累积注意力概率达到某个阈值 p 的最小 token 集合。

例如,如果少数 token 占据了 99% 的注意力概率,那么 top-0.99 集合就会很小。如果注意力在上下文中几乎均匀分布,那么要恢复其 99% 的概率就需要保留大约 99% 的 token。因此,与选择固定数量 token 的方法不同,top-p 允许检索量根据每个查询的注意力分布自适应调整。

在考虑非常长的上下文时,这一区别尤为重要。假设序列长度为 T,而捕获其注意力概率固定比例所需的 token 数量大约按 Tα 增长,其中 0<α<1。在这种情况下,注意力主动检索的信息量会随着上下文增长而继续增加,但增速慢于上下文本身。这正是我们想要的扩展方式:模型可以访问越来越多的信息,而不需要固定或不断增加的整个序列 比例 。

相比之下,如果注意力变得近似均匀,top-p 集合就会随 T 线性增长。为了保持给定的注意力概率,我们必须检索整个上下文的固定比例,从而消除了大部分次二次扩展的机会。

在我们之前的博客中,我们将其描述为 通往真正超长上下文的狭窄路径一方面,我们无法在不最终丢失有用信息的情况下将上下文压缩为固定大小的表示。另一方面,我们也无法承受为每个查询检索任意长上下文中近似线性比例的部分。

我们的假设是,自然序列中包含的预测信息量应随其长度亚线性增长。模型的 top-p 缩放曲线提供了一种经验性指示,说明其注意力分布成功捕捉这种结构的程度。它们并非直接的信息论测量,但为我们研究长上下文建模与计算效率之间的关系提供了一种有用的方式。

一个重要的含义是, 亚二次注意力并非纯粹的架构属性。即使采用理论上亚二次的搜索算法,其实际效率也取决于被搜索的注意力分布的结构。

正如我们将看到的,不同的前沿模型在这方面表现出令人惊讶的不同行为。

将 ZHA 扩展到前沿模型

我们转换了四个差异显著的模型:Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B 和 MiMo-V2.6-Pro。

这些模型共同让我们能够在不同的参数规模、位置编码方案和注意力架构上研究 ZHA,包括 RoPE 和部分 RoPE 模型、混合 NoPE 架构,以及混合局部与全局注意力的模型。

在这些实验中,转换过程本身效果极佳。大多数评测结果与原始稠密注意力基线非常接近,包括 SWE-bench、LongBench v2 和 RULER 等需要在长上下文中检索并使用信息的基准测试。

当我们考察底层注意力分布的结构及其所允许的计算扩展时,差异就变得明显得多。

Qwen3.8-2.4T-A95B:万亿参数规模下的干净扩展

我们从 Qwen3.8-2.4T-A95B 开始,这是我们实验中最大的模型,总参数达 2.4 万亿,活跃参数约 950 亿。该模型为检验 ZHA 转换能否扩展到我们原始工作中所考虑的较小模型之外提供了特别有力的测试。

结果非常出色。

Qwen3.8-2.4T: Reasoning and Retrieval Evaluations. ZHA matches dense attention for Qwen across a suite of long-context reasoning and agentic evaluations.
图 1. 原始 Qwen3.8-2.4T-A95B 模型与 p=0.85 时经 ZHA 转换的对应模型在基准测试上的性能对比。ZHA 在数学推理、智能体编程和长上下文检索基准上基本保留了原始模型的全部性能。

在具有挑战性的长上下文检索、数学和智能体编程评测中,全注意力模型与经 ZHA 转换的模型之间的差异基本处于噪声水平。即使在最长的 1M 上下文长度下,RULER 分数也仅下降不到两分,处于噪声分布范围内。

这是一个特别令人鼓舞的结果。我们可以替换一个拥有数万亿参数模型的注意力机制,同时完全冻结预训练骨干,即使在需要大量长程检索的评测中也能保留其几乎全部能力。

然而,更有趣的结果来自对其注意力分布的考察。

Qwen3.8-2.4T: Top-p Scaling Curves with Sequence Length. The number of keys retrieved by Qwen grows robustly sublinearly in context length.
图 2. Qwen3.8-2.4T-A95B 在不同 p 值下,top-p 注意力集合的大小随上下文长度的变化,对六本书、全注意力层和查询头取平均。黑色虚线表示线性缩放,而蓝色曲线在广泛的注意力质量阈值范围内表现出近似亚线性的幂律行为。

在广泛的 p 值范围内,相关注意力集合的大小随上下文长度近似以亚线性幂律增长。这些曲线在多个数量级上保持平滑,没有明显的不连续或缩放行为的变化。我们在整个 Qwen 模型系列中都观察到类似行为,包括不同模型规模和注意力层。

这正是使 ZHA 有效的结构类型。

当 top-p 集合亚线性增长时,通过层级结构逐步细化搜索,使我们能够检索相关信息,而无需检查原始序列的线性比例部分。相应地,随着上下文增长,我们建模的注意力成本相对于稠密注意力显示出越来越有利的扩展性。

Qwen3.8-2.4T: Modeled Attention Latency. ZHA achieves significant speedups compared to dense attention for Qwen.
图 3. 随着上下文长度增加,ZHA 与稠密注意力在 Qwen3.8-2.4T-A95B 上的建模注意力延迟,展示了该模型亚线性 top-p 结构所带来的计算优势。

更广泛地说,我们怀疑这种异常干净的幂律行为可能是训练良好的长上下文注意力机制的关键特征。训练良好的模型应能够从不断增多的无关上下文中区分出相关信息,而不是让注意力概率无差别地扩散到更多 token 上。平滑的亚线性 top-p 缩放与此行为一致。

我们尚不清楚这种缩放是否具有普遍性,也不确切知道 Qwen 训练中的哪些方面导致了它。尽管如此,这是一个令人鼓舞的例子,展示了使高效超长上下文建模成为可能的注意力结构类型。

Nemotron 和 MiMo:亚二次缩放中的早期层例外

虽然 Qwen 在其注意力层中表现出异常干净的 top-p 缩放,但并非每个模型都表现得如此理想。

两个特别有趣的例子是 Nemotron-3.5-Super 和 MiMo-V2.6-Pro。这两个模型都能很好地转换为 ZHA,基本保留了其全部原始能力,并且在其大多数层中都表现出有利的亚二次注意力缩放。

然而,它们也共享一个奇特的现象:最早的注意力层的 top-p 缩放效果明显不如模型其余部分有利。在 Nemotron 中,这出现在第一个注意力层。在 MiMo 中,这出现在前两个注意力层。在这两种情况下,这些层都因 top-p 接近线性缩放而偏离了通往亚二次缩放的狭窄路径。

Nemotron-3.5-Super-120B-12A

Nemotron-3.5-Super 是一个前沿的混合 Mamba-Transformer 模型,其使用的注意力机制不包含显式位置编码(NoPE)。

NoPE 架构之所以有趣,是因为它们表明模型可以在不显式地对查询和键应用 RoPE 或其他位置编码的情况下恢复有用的位置信息。

在我们此前关于 混合 NoPE 模型中的位置信息的工作中,我们展示了局部混合机制如何将隐式位置信息引入残差流,随后这些信息可被后续的全局注意力层恢复。

这使得 Nemotron 成为检验 ZHA 泛化能力的有用测试,因为 ZHA 的大多数初始实验都是在基于 RoPE 的模型上进行的。

转换结果再次非常出色。总体而言,转换后模型的质量与原始模型极为接近。

Nemotron-3.5-Super-120B-12A: Reasoning and Retrieval Evaluations. ZHA matches dense attention for Nemotron across a suite of long-context reasoning and agentic evaluations.
图 4. Nemotron-3.5-Super 在 p=0.9 时的稠密与 ZHA 评估结果。ZHA 在推理、编码和长上下文基准上保持接近持平,若干评估甚至显示出小幅提升。

然而,其注意力分布揭示了一个奇特的反常现象。

Nemotron-3.5-Super: Modeled Attention Latency. For all layers but the first, ZHA achieves significant speedups compared to dense for Nemotron.
图 5. 第一个全注意力层与其余七个注意力层均值的 ZHA 建模延迟,与稠密注意力对比。后续层显示出有利的亚二次缩放,而第一层则表现出远不理想的注意力分布,在长上下文长度下接近稠密注意力的缩放。实线使用建模的最优树深度;标注的交叉点和 10M 加速仅适用于具有有利 top-p 缩放的层。

Nemotron 的大多数注意力层都表现出我们所期望的那种平缓的亚二次缩放。然而,第一个全注意力层的行为却截然不同。

其注意力 logits 在序列上相对均匀,集中程度远低于后续层。因此,其 top-p 集合随序列长度近乎线性增长,ZHA 可带来的潜在计算节省显著减少。

一种可能是,第一个全局注意力层尚未学到像后续层那样有效的位置或相关性结构。在混合 NoPE 模型中,有用的位置信息必须从前序计算中隐式产生,因此这可能对注意力层与局部混合层的排列方式尤为敏感。

另一种可能是,这第一个注意力层根本没有做出特别有用的、依赖内容的检索决策,因此其注意力分数区分度相对较弱。

我们尚不清楚哪种解释是正确的,但所有后续层都表现出明显更有利的缩放这一事实表明,这是一个相对局部化的现象,而非模型注意力架构的根本性局限。

MiMo-V2.6-Pro

我们在 MiMo-V2.6-Pro 中发现了惊人相似的模式。

MiMo 使用部分 RoPE(与上文 Qwen 相同),仅对查询和键表示的一部分维度而非全部维度应用旋转位置嵌入。这使其成为研究位置编码选择如何与学习到的注意力分布结构相互作用的另一个有趣案例。

与 Nemotron 一样,ZHA 转换后的模型与原始模型性能相当。评估分数存在轻微波动,但总体在噪声范围内,最多相差一两点。某些评估如 LongBench-v2 甚至有所提升。

MiMo-V2.6-Pro-1T: Reasoning and Retrieval Evaluations. ZHA matches dense attention for MiMo across a suite of long-context evaluations.
图 6. 原始 MiMo-V2.6-Pro 与 p=0.9 时 ZHA 转换模型的基准对比。在数学推理、知识、智能体编码和长上下文检索评估中,性能保持紧密匹配。

更有趣的结果来自注意力缩放。与 Nemotron 类似,MiMo 在其最早的注意力层中表现出近乎线性的 top-p 缩放。不过在这种情况下,该效应出现在前两个注意力层,而不仅仅是第一个。

其余层表现出有利得多的亚线性 top-p 缩放,表明模型能够在大部分深度上学习到结构良好、集中的注意力分布。尽管如此,这前两层对 ZHA 可带来的整体计算节省有实质性影响。

MiMo-V2.6-Pro: Modeled Attention Latency. With the exception of the first two layers, ZHA achieves significant speedups compared to dense for MiMo.
图 7. MiMo-V2.6-Pro 的 ZHA 与稠密注意力的建模注意力延迟,显示出与 Nemotron 类似的行为分化:其余 8 个全局注意力层有显著加速(我们标注了其交叉点和 10M 加速),但前两层由于异常的 top-p 缩放而几乎没有加速。

综合全部 10 个全局注意力层来看,我们的建模延迟预测交叉点约为 89K token,超过该长度后 ZHA 比稠密注意力更高效。然而,在 1000 万 token 时的总加速仅为 3.9 倍,虽然可观,但远小于所有层都表现出有利 top-p 缩放时可获得的增益。

这并不是因为模型的注意力分布在整个网络中均匀弥散。恰恰相反:其大多数注意力层都具有相对良好的 top-p 结构。而是少数缩放不佳的层会不成比例地影响总注意力成本,即使模型的大部分表现良好,也会限制整体加速。

前几层发生了什么?

Nemotron 与 MiMo 之间的相似性尤其值得关注,因为二者的位置编码方案并不相同。Nemotron 使用 hybrid-NoPE,而 MiMo 使用 partial RoPE。然而,两者都在最早的注意力层中表现出近乎线性的 top-p 缩放,随后在网络更深处表现出明显更好的缩放。

我们目前尚不清楚这一现象的确切原因。

一种可能是,最早的注意力层所执行的功能与后面的层有所不同。这些层可能并非选择性地检索一小组相关 token,而是参与更广泛的信息混合,或建立位置与上下文表示,供后续层用于更具选择性的检索。

另一种可能是,早期注意力层可用的位置表示本身就不够完善。这与我们此前关于 NoPE 架构中隐式位置信息的观察相一致。然而,鉴于 Qwen 在使用 partial RoPE 的同时也表现出始终有利的缩放,目前尚不清楚同一机制能否解释 MiMo。

还有一种可能是,这些层只是训练得不够充分或利用得不够有效,导致注意力分布的选择性不如其本可达到的水平。

要区分这些可能性还需要进一步研究。

然而,尤其令人鼓舞的是,这个问题高度局部化。在两个模型中,较晚的注意力层都表现出我们期望从次二次注意力机制中获得的有利缩放特性。

这表明,相对有针对性的干预——例如微调最早的注意力层以改善其 top-p 结构——有可能挽回目前损失的大部分计算效率,而无需对模型其余部分做任何实质性修改。

GPT-OSS-120B:长上下文扩展的复杂性

最后,我们转换了 GPT-OSS-120B,这是一个重要的开放权重模型,与实际应用和企业部署广泛相关。

GPT-OSS 与 Nemotron 和 MiMo 形成了有趣的对比。这两个模型在其最初几个注意力层中表现出相对局部化的问题,而 GPT-OSS 则表现出另一种异常,与其注意力分布在长上下文长度下的行为有关。

我们的转换结果总体良好,尽管与 Qwen、Nemotron 或 MiMo 相比,性能下降更为明显。

GPT-OSS-120B: Reasoning and Retrieval Evaluations. Though generally strong, ZHA exhibits some degradation for GPT-OSS especially on retrieval.
图 8. GPT-OSS-120B 在 p=0.9 的 ZHA 转换前后的基准结果。推理与知识评估仍接近基线,而智能体编码和长上下文检索则表现出更明显的下降。

虽然大多数评估保持不变,但 SWE-bench 性能下降略为明显,从 59.6 降至 55.8,而最大的下降出现在 128K token 的 RULER 上,性能从 63.3 降至 46.0。

虽然这是有意义的损失,但也值得指出,与我们研究的其他模型相比,稠密基线在这一长上下文检索评估上的表现相对较差。

检查注意力分布为我们提供了关于原因的潜在线索。

与 Qwen 不同,GPT-OSS 并未在其完整上下文范围内表现出一致干净的幂律 top-p 缩放。相反,我们观察到曲线在上下文窗口末端出现不寻常的平坦化,表明在长序列长度下注意力分布的结构发生了变化。

GPT-OSS-120B: Top-p Scaling with Sequence Length. The number of keys retrieved by GPT-OSS grows sublinearly but more slowly at long contexts and appears to show a flattening effect above 100k context.
图 9. GPT-OSS-120B 在不同上下文长度下的 top-p 曲线。虽然在短上下文下存在清晰的幂律趋势,但在较长上下文长度下出现明显的平坦化,表明注意力 logits 在长上下文下变得过度稀疏,这可能是长上下文 RULER 性能不佳的原因。

一种可能的解释是该模型的上下文扩展过程。

GPT-OSS 使用 YaRN 将其基于 RoPE 的注意力扩展到 131K token 的上下文窗口。位置外推、上下文扩展训练或长上下文暴露不足的某种组合,有可能产生了我们观察到的异常注意力行为。

然而,我们无法根据现有证据确定这一点。尽管该架构和对 YaRN 的使用是公开记录的,但确定原因所需的完整细节并不可得。

部分由于这些复杂性以及由此产生的长上下文下异常的注意力稀疏性,ZHA 实际上提供了尤其显著的建模计算节省。

GPT-OSS-120B: Modeled Attention Latency. Due to stagnation in its top-p scaling, ZHA achieves particularly significant speedup compared to dense for GPT-OSS.
图 10. GPT-OSS-120B 的建模注意力延迟。ZHA 在约 40.1K token 处低于稠密注意力,预计在 10M token 时快 58.2 倍。

我们的延迟模型预测交叉点约为 40.1K token,随着上下文长度增加,ZHA 的效率逐步提高。在 1000 万 token 时,预测的注意力加速相对于稠密注意力约为 58.2 倍。

这些结果凸显了两个独立问题之间的区别:模型的注意力能否被高效近似,以及由此得到的稀疏模型能否保持其有效利用超长上下文的能力。

对于 GPT-OSS,我们获得了可观的计算收益,但不寻常的长上下文注意力结构似乎使忠实转换更加困难,尤其是在检索密集型评估上。无论是因为底层稠密注意力模式、我们路由器中的学习缺陷,还是两者兼有,GPT-OSS 因此与 Nemotron 和 MiMo 相比在另一个方向上偏离了窄路径:检索能力未能随序列长度充分扩展。

这与在 Nemotron 和 MiMo 中观察到的行为有所不同,后者的主要问题是相对少数几个缩放不佳的早期层,而整体模型极好地保留了其能力。

这些例子共同表明,模型注意力分布的结构会影响 ZHA 转换的效率与保真度,但影响方式并不总是一致。

ZHA 转换在大规模下依然极其廉价

这些实验中最令人鼓舞的结果之一是:即便是最大的模型,转换所需的额外训练也少得惊人。

我们的蒸馏过程在单个注意力层上局部进行。我们并不通过大规模端到端训练来更新模型骨干以复现其原始输出,而是独立训练用于构建和搜索分层摘要的参考查询。目标仅仅是匹配分配给上下文不同块的注意力概率质量,这是一个比传统知识蒸馏小得多的学习问题。

关键在于,我们完全不训练骨干。其原始权重保持冻结,这意味着我们无需为数万亿预训练参数维护优化器状态或梯度。额外的可训练状态仅由参考查询组成,与模型本身相比其规模可以忽略不计。

在实践中,蒸馏过程如此廉价,以至于 运行完整评测套件所花的时间远长于实际的转换训练,即便对我们最大的模型也是如此。

对于一项从根本上改变注意力访问长上下文方式的架构修改而言,这是一个相当了不起的特性。

它表明 ZHA 转换不必是一个重大的新训练阶段。相反,它可以被视为一种应用于已具备能力的预训练模型的轻量级适配过程,无需昂贵的重新训练,也无需对其底层能力做大量改动。

或许令人意外的是,我们并未发现模型规模本身构成主要障碍。事实上,我们实验中最大的模型 Qwen3.8-2.4T-A95B 在 ZHA 转换下表现出最干净的注意力缩放和最强劲的性能保持。

更难的问题在别处。

真正的瓶颈可能在于骨干

回到我们原论文中的窄路径论证,这些实验表明,扩展高效注意力最重要的障碍可能不是注意力算法本身。

ZHA 提供了一种无需检查序列中每个 token 就能找到相关信息的机制。它能在保留超大规模预训练模型大部分行为的同时做到这一点,而且即便在万亿参数规模下,蒸馏过程依然廉价。

但这一切都不能保证底层模型已经学到了适合次线性检索的注意力分布。为此,模型必须已经学会随着上下文长度增长以有意义的方式分配其注意力概率。我们的结果表明,这一特性对骨干的训练方式高度敏感。

Qwen 在长上下文上表现出非常干净的幂律缩放。Nemotron 和 MiMo 大多表现出类似的有利行为,但其最早的几个注意力层接近线性缩放。GPT-OSS 在其上下文窗口末端表现出异常的 top-p 行为。

为什么会出现这些差异?我们怀疑训练的几个方面可能很重要。

第一, 上下文扩展 可能起着尤为重要的作用。在较短序列长度上表现良好的模型,未必能学到长得多上下文所需的正确统计结构。扩展位置编码或进行有限的长期上下文微调,可能产生表面上具备长上下文能力的行为,却无法恢复与在那些长度上训练更充分的模型相同的注意力结构。

第二, 长上下文训练不足 可能对前沿规模模型尤为相关。在极长序列上训练超大模型成本高昂,而在最长上下文长度上可用的 token 数量或优化步数可能有限。因此,一些模型可能没有足够机会学到稳定、校准良好的长程注意力分布。

第三, 位置表示的选择与训练 可能影响注意力结构,尤其是在最早的几层。Nemotron 与 MiMo 之间的相似性表明,值得研究 NoPE 和部分 RoPE 架构是否系统性地表现出与完整 RoPE 模型不同的 top-p 行为,还是说这仅仅是其他训练决策的结果。然而,同样使用部分 RoPE 的 Qwen3.8 2.4T 所表现出的不同 top-p 行为表明,仅凭位置编码无法解释这些模式。

最后, 训练不稳定性与注意力 logit 校准,尤其是在前沿规模模型上 可能很重要。众所周知,更大的模型更不稳定,若未通过架构或超参数选择正确处理,会更严重地受到注意力 logit 范数爆炸或其他注意力相关病症的影响。因此,我们在这些更大模型上观察到的病症可能是规模本身的结果。

我们尚不清楚对于任何特定模型而言,这些解释中哪一种占主导。

也有可能某些差异反映的是真实的架构选择,而非训练失败。例如,一个旨在进行广泛信息混合的层,其注意力分布可能天然比一个专门用于选择性检索的层更分散。

尽管如此,我们观察到的差异表明,预训练模型的 top-p 缩放结构值得比迄今为止多得多的关注。

如果我们想要构建使用数千万乃至数亿token上下文的模型,仅仅设计越来越高效的注意力机制可能还不够。我们可能还需要明确地促使底层模型学习这样的注意力分布:其相关支撑集随上下文长度呈次线性扩展。

展望未来

总体而言,这些实验让我们有相当大的信心认为,ZHA能够扩展到前沿语言模型。

我们成功转换了从数百亿到数万亿参数不等的模型,在广泛的评测中基本保持了原模型的能力。即便是具有挑战性的长上下文推理和智能体编程任务,对注意力机制的改变也表现出显著的稳健性。转换本身仍然极其廉价,只需少量局部蒸馏,而无需对底层模型进行任何大规模重训练。也许最重要的是,我们尚未遇到ZHA转换算法随模型规模扩展时的内在困难。

剩下的主要挑战似乎是骨干网络所学到的注意力分布结构。这提示了两个尤其有前景的未来工作方向。

第一个方向是直接改进这些分布。与其将预训练骨干视为完全固定,我们可以微调其注意力组件,以鼓励更有利的top-p缩放,尤其是在原始注意力表现出接近线性缩放或在长上下文中行为异常的那些层中。

对于Nemotron和MiMo,这可能意味着只针对最早的几个注意力层,这些层似乎占了剩余计算成本的过大比例。对于像GPT-OSS这样的模型,改进底层的长上下文注意力结构可能需要更细致的上下文扩展训练。

第二个方向是持续优化ZHA本身,包括更高效的树构建、路由和稀疏注意力内核,以及随着上下文长度增加动态选择树几何结构和路由阈值。

最终,我们的目标是开发一种注意力机制,使其能够继续按序列中有用信息的量成比例地扩展,既不必将所有内容压缩到固定大小的状态中,也不必付出检查每个token的二次方代价。

这里的结果表明,即使在最大的模型规模下,ZHA也为这一目标提供了可行的基础。

继续阅读

研究

ZHA:Zyphra分层注意力

2026年11月 · 阅读时长17分钟
研究

用与范数无关的残差网络扩展自适应深度

2026年6月 · 阅读时长12分钟
研究

在线向量量化注意力

2026年2月 · 阅读时长8分钟

与我们聊聊技术栈。

联系销售探索Zyphra Cloud