先了解这件事
AI 综述
2026年10月1日,Zyphra Research 发布研究,探讨混合语言模型在全局注意力层没有显式位置编码时如何恢复位置信息。该研究发现,滑动窗口注意力(SWA)和门控线性注意力等局部层会在残差流中自然形成近因偏置,使相邻 token 的表示比远距离 token 更相似;全局 NoPE 注意力的 query 和 key 投影随后学会读取这一结构,从而在无显式位置编码的注意力层中形成隐式相对位置编码。该机制解释了局部混合与全局 NoPE 注意力交错架构为何有效,并有望让位置表示自然外推到训练时未见过的序列长度。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 研究：混合 NoPE 模型如何在没有位置编码时学习位置事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月1日
Zyphra Research一手
Zyphra 研究：混合 NoPE 模型如何在没有位置编码时学习位置
Zyphra Research 发现，混合语言模型中滑动窗口注意力（SWA）和门控线性注意力等局部层会在残差流中自然形成近因偏置，使相邻 token 的表示比远距离 token 更相似；全局 NoPE 注意力的 query 和 key 投影随后学会读取这一结构，从而在无显式位置编码的注意力层中形成隐式相对位置编码。该机制解释了局部混合与全局 NoPE 注意力交错架构为何有效，并有望让位置表示自然外推到训练时未见过的序列长度。