先了解这件事
AI 综述
2026年11月17日,Zyphra Research宣布将分层注意力方法ZHA扩展应用于Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B和MiMo-V2.6-Pro等开放权重模型。据其介绍,转换只需冻结骨干并训练少量参考查询,成本低于跑完整评测;转换后多数评测接近原始稠密注意力基线,Qwen在1M RULER上下降不到2分。Zyphra同时指出,ZHA的计算收益取决于模型自身的注意力分布:Qwen呈干净的次线性幂律,Nemotron和MiMo最早几层接近线性,GPT-OSS在长上下文端出现异常平坦,RULER 128K从63.3降至46.0。目前尚无后续进展。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 将 ZHA 稀疏注意力扩展至万亿参数模型事件进展
1 个已确认进展
- 来源:Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月17日
Zyphra Research一手
Zyphra 将 ZHA 稀疏注意力扩展至万亿参数模型
Zyphra 将分层注意力方法 ZHA 应用于 Qwen3.8-2.4T-A95B、Nemotron-3.5-Super、GPT-OSS-120B 和 MiMo-V2.6-Pro 等开放权重模型,转换后多数评测接近原始稠密注意力基线,Qwen 在 1M RULER 上下降不到 2 分。转换只需冻结骨干、训练少量参考查询,成本低于跑完整评测。但 ZHA 的计算收益取决于模型自身的注意力分布:Qwen 呈干净的次线性幂律,Nemotron 和 MiMo 最早几层接近线性,GPT-OSS 在长上下文端出现异常平坦,RULER 128K 从 63.3 降至 46.0。
AI 热点