先了解这件事
事件摘要
还没有公开综述，先看下面的报道时间线。
最新进展 · 正式报道
Anthropic 论文：叠加现象与玩具模型事件进展
1 个已确认进展
- 来源：Anthropic：Transformer Circuits
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic：Transformer Circuits一手精选
Anthropic 论文：叠加现象与玩具模型
Anthropic 的 Transformer Circuits 发布论文《Toy Models of Superposition》，用小规模 ReLU 网络在稀疏合成数据上训练，证明神经网络可以在维度不足时以叠加方式表示更多特征，代价是需要非线性过滤来应对特征间的干扰。论文给出叠加发生的相变图，解释神经元为何有时单义、有时多义，并展示模型能在叠加状态下完成绝对值这类简单计算。作者认为该现象可能与对抗样本、grokking 及 MoE 模型的表现相关，并讨论了消除叠加的三条路径及其对可解释性和安全研究的挑战。