AI 热点

热点事件

Zyphra将ZHA扩展至万亿参数级开放权重模型

1 篇正式报道1 条事件动态更新于 11月17日 08:00

先了解这件事

AI 综述

2026年11月17日,Zyphra Research宣布将分层注意力方法ZHA扩展应用于Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B和MiMo-V2.6-Pro等开放权重模型。据其介绍,转换只需冻结骨干并训练少量参考查询,成本低于跑完整评测;转换后多数评测接近原始稠密注意力基线,Qwen在1M RULER上下降不到2分。Zyphra同时指出,ZHA的计算收益取决于模型自身的注意力分布:Qwen呈干净的次线性幂律,Nemotron和MiMo最早几层接近线性,GPT-OSS在长上下文端出现异常平坦,RULER 128K从63.3降至46.0。目前尚无后续进展。

AI 根据公开报道生成

最新进展 · 正式报道

Zyphra 将 ZHA 稀疏注意力扩展至万亿参数模型

事件进展

1 个已确认进展

  1. Zyphra将ZHA扩展至万亿参数级开放权重模型

    来源:Zyphra Research

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月17日

  1. Zyphra Research一手

    Zyphra 将 ZHA 稀疏注意力扩展至万亿参数模型

    Zyphra 将分层注意力方法 ZHA 应用于 Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B 和 MiMo-V2.6-Pro 等开放权重模型,转换后多数评测接近原始稠密注意力基线,Qwen 在 1M RULER 上下降不到 2 分。转换只需冻结骨干、训练少量参考查询,成本低于跑完整评测。但 ZHA 的计算收益取决于模型自身的注意力分布:Qwen 呈干净的次线性幂律,Nemotron 和 MiMo 最早几层接近线性,GPT-OSS 在长上下文端出现异常平坦,RULER 128K 从 63.3 降至 46.0。

关联事件

  1. 相关事件Base Labs研究梯度对齐奖励能否实现在线策略监督
  2. 相关事件Thinking Machines Lab介绍Inkling 2 Small端到端4比特训练配方
  3. 相关事件Ai2联合多机构发布XYBench基准测试
  4. 相关事件Zyphra提出稀疏注意力方法ZHA