先了解这件事
AI 综述
2026年6月16日,Zyphra 提出范数无关残差网络(NAG)。据 Zyphra Research 发布的信息,NAG 将残差流拆分为方向与范数两条独立通道,让各层只对归一化方向做受控正交旋转,从而在深度上保持一致贡献。该设计由此实现可解释的 Mixture-of-Depths 自适应计算,在固定算力预算下把跳层省下的 FLOPs 换成更多 token 训练。Zyphra 称这是首个把稀疏深度作为预训练扩展轴的实用论证。目前该工作仅有这一项事实证据,尚无后续发展。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 提出 NAG：用范数无关残差网络扩展自适应深度事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月16日
Zyphra Research一手
Zyphra 提出 NAG：用范数无关残差网络扩展自适应深度
Zyphra 提出范数无关残差网络（NAG），将残差流拆分为方向与范数两条独立通道，让各层只对归一化方向做受控正交旋转，从而在深度上保持一致贡献。NAG 由此实现可解释的 Mixture-of-Depths 自适应计算，在固定算力预算下把跳层省下的 FLOPs 换成更多 token 训练。Zyphra 称这是首个把稀疏深度作为预训练扩展轴的实用论证。