先了解这件事
AI 综述
2026年3月25日,Zyphra提出混合联想记忆(HAM)框架,将RNN与自注意力互补结合。据Zyphra Research发布的信息,该框架中RNN负责压缩并总结序列内容,KV cache只存储RNN预测误差超过阈值τ的token,从而在远小于Transformer的缓存规模下保持较强性能。该框架支持通过调整阈值τ连续控制路由到KV cache的token比例,也可采用端到端可学习路由器,并基于Zyphra此前ZAYA1的研究测试了带指数深度平均(EDA)的路由器。目前该框架处于提出阶段,尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
3月25日
Zyphra Research一手
Zyphra 提出混合联想记忆 HAM：让 KV cache 只存 RNN 难预测的 token
Zyphra 提出混合联想记忆（HAM），将 RNN 与自注意力互补结合：RNN 负责压缩并总结序列内容，KV cache 只存储 RNN 预测误差超过阈值 τ 的 token，从而在远小于 Transformer 的缓存规模下保持较强性能。该框架支持通过调整阈值 τ 连续控制路由到 KV cache 的 token 比例，也可采用端到端可学习路由器，并基于 Zyphra 此前 ZAYA1 的研究测试了带指数深度平均（EDA）的路由器。