先了解这件事
2026年11月2日,Zyphra Research提出分层注意力方法ZHA,通过构建并搜索KV cache的压缩树为每个查询挑选相关token,在合适top-p阈值下实现亚二次复杂度。该方法只需用几十亿token的KL蒸馏即可把已有预训练模型适配过来,在Qwen3.6-35B-A3B上仅新增81,920个可训练参数。评测方面,RULER-13 256K上宽树达96.2%、深树93.3%;LongBench v2深树63.4%,高于稠密注意力的58.0%;SWE-bench Verified上与稠密基线相当。其GPU性能模型预测在约48K token时快于稠密注意力、约480K token时快于MSA,一千万token上下文下相对稠密注意力约32–35倍加速。目前尚无后续进展。
AI 根据公开报道生成
最新动态 · 相关讨论
@mark_k 参与了这场讨论事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月3日
11月2日
Zyphra Research一手精选
Zyphra 提出分层注意力 ZHA，实现亚二次复杂度稀疏注意力
Zyphra 提出分层注意力 ZHA，通过构建并搜索 KV cache 的压缩树为每个查询挑选相关 token，在合适 top-p 阈值下实现亚二次复杂度。ZHA 只需用几十亿 token 的 KL 蒸馏即可把已有预训练模型适配过来，在 Qwen3.6-35B-A3B 上仅新增 81,920 个可训练参数；RULER-13 256K 上宽树达 96.2%、深树 93.3%，LongBench v2 深树 63.4% 高于稠密注意力的 58.0%，SWE-bench Verified 上与稠密基线相当。其 GPU 性能模型预测在约 48K token 时快于稠密注意力、约 480K token 时快于 MSA，一千万 token 上下文下相对稠密注意力约 32–35 倍加速。