先了解这件事
AI 综述
NAVER Cloud 在 ICML 2025 发表并展示论文“Peri-LN: Revisiting Normalization Layer in the Transformer Architecture”,重新审视 Transformer 架构中的归一化层位置。该研究在 Pre-LN 基础上为每个子模块输出也加入归一化。研究指出,Pre-LN 在训练中方差会指数增长并出现 massive activations,而 Peri-LN 能维持均衡,避免训练发散。据 NAVER / CLOVA 研究介绍,Peri-LN 已被 Gemma2、Gemma3、Olmo2 采用。目前该故事尚无后续发展事实,状态停留在论文展示与解读阶段。
AI 根据公开报道生成
最新进展 · 正式报道
CLOVA 解读 Peri-LN：如何防止 Transformer 训练发散事件进展
1 个已确认进展
- 来源：NAVER / CLOVA 研究
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月16日
NAVER / CLOVA 研究一手
CLOVA 解读 Peri-LN：如何防止 Transformer 训练发散
NAVER Cloud 在 ICML 2025 发表 Peri-LN 论文，重新审视 Transformer 中的归一化层位置。Peri-LN 在 Pre-LN 基础上为每个子模块输出也加归一化，已被 Gemma2、Gemma3、Olmo2 采用。研究指出 Pre-LN 在训练中方差会指数增长并出现 massive activations，而 Peri-LN 能维持均衡，避免训练发散。