先了解这件事
AI 综述
2026年2月5日,Zyphra 提出 Online Vector Quantized(OVQ)注意力层。据 Zyphra Research 发布的信息,该层在前向传播中实时学习键字典 D_k,实现线性计算与常数内存复杂度。实验显示,OVQ 在长上下文任务上显著优于线性注意力和 SSM 基线,在 16k+ 上下文长度下匹配或仅略微偏离强自注意力基线,且内存状态远小于自注意力。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 提出 Online Vector Quantized（OVQ）注意力层事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
2月5日
Zyphra Research一手
Zyphra 提出 Online Vector Quantized（OVQ）注意力层
Zyphra 提出 Online Vector Quantized（OVQ）注意力层，在前向传播中实时学习键字典 D_k，实现线性计算与常数内存复杂度。实验显示 OVQ 在长上下文任务上显著优于线性注意力和 SSM 基线，在 16k+ 上下文长度下匹配或仅略微偏离强自注意力基线，且内存状态远小于自注意力。