先了解这件事
事件摘要
还没有公开综述，先看下面的报道时间线。
事件进展
1 个已确认进展
- 来源：Anthropic：Transformer Circuits
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic：Transformer Circuits一手
Anthropic 提出 SoLU：将 MLP 可解释神经元比例从 35% 提升至 60%
Anthropic 在 Transformer Circuits 发表研究，用 softmax linear unit（SoLU）替换激活函数，在性能基本不变的前提下，把 MLP 层中人类能快速找到清晰解释的神经元比例从 35% 提升到 60%（最大模型上增益更小）。研究同时发现 SoLU 可能通过压低某些特征幅度、再由 LayerNorm 恢复来“隐藏”它们，使部分原本不可解释的特征更难解释。