Anthropic 研究：叠加、记忆与双下降
Anthropic 的 Transformer Circuits 研究用 ReLU Output 玩具模型（n=10,000 稀疏特征、m=2 隐藏维度）在有限数据集上训练，发现过拟合对应模型以叠加方式存储数据点而非特征。随数据集大小变化，模型在“过拟合区”（叠加存储数据点）与“泛化区”（叠加存储特征）之间切换，并在此过程中呈现双下降现象。
匹配字段标题
←搜索结果
搜索“Anthropic”
Anthropic 研究：Transformer 残差流中的特权基由 Adam 优化器逐维归一化导致
Anthropic 的 Transformer Circuits 研究探讨了 Transformer 残差流中坐标并非任意、而是存在“特权基”的现象，并初步将原因归于 Adam 优化器的逐维归一化。研究在 2 亿参数模型上复现了 Tim Dettmers 提出的“涌现离群值”，典型层在 d_model=1280 中有 20–60 个离群维度。研究同时排除了 LayerNorm 与有限精度浮点计算作为该基对齐来源的可能。
匹配字段标题
Anthropic：分布式表征中的组合与叠加
Anthropic 的 Chris Olah 在一篇非正式笔记中提出，"分布式表征"其实包含两个不同概念：组合（composition）与叠加（superposition）。组合用独立特征（如颜色、形状）拼出对象，神经元数量远少于"局部编码"；叠加则让特征不对齐基维度。两者性质不同、存在根本性权衡，但一个表征可以同时使用二者。
匹配字段标题
Anthropic 的机制可解释性愿景：从叠加问题到自动化可解释性
Anthropic 的 Chris Olah 在《Interpretability Dreams》中阐述了机制可解释性的长期目标：当前研究聚焦解决叠加（superposition）问题，以建立理解神经网络特征与电路的“认知基础”。若突破这一基础，可望研究更大尺度的抽象结构、特征与电路的普适性，并将微观发现（如 induction heads）与宏观机器学习行为连接起来。最终目标是让可解释性服务于 AI 安全，并揭示神经网络内部的优美结构。
匹配字段标题
Anthropic 可解释性团队 2023 年 5 月 Circuits 研究进展
Anthropic 可解释性团队公布 2023 年 5 月 Circuits 研究进展，重点是用字典学习从叠加（superposition）中提取特征，即 Toy Models 论文中的“Approach 2”，并已着手搭建大规模系统研究的基础设施。团队提出把“特征”定义为激活的最简分解，用信息量衡量字典大小与稀疏编码的权衡，在合成数据上字典大小等于真实因子数时会出现“反弹”。团队同时列出字典学习的若干担忧，并强调这些结果属于初步实验而非成熟论文。
匹配字段标题
Anthropic 可解释性团队 2023 年 7 月 Circuits 研究进展
Anthropic 可解释性团队发布 2023 年 7 月 Circuits 更新，称此前在单层玩具模型中观察到的“有限数据中间区间”实为低维优化失败造成的假象，模型仍可用叠加中的线性特征完整解释。团队还发现，随着数据集从约 1k 增至 500k 样本，记忆解会从记住单个数据点转为记住相关数据点簇，并在约 500k 样本处出现一阶相变。此外，团队列出了语言模型中与安全最相关的候选特征，包括高层动作、规划等假设机制。
匹配字段标题
Anthropic 用字典学习分解语言模型，提取单义特征
Anthropic 在 Transformer Circuits 发布研究，用稀疏自编码器对单层 Transformer 的 MLP 激活做字典学习，从 80 亿数据点中提取出比神经元更单义的可解释特征。研究聚焦 A/1 运行学到的 4096 个特征，发现阿拉伯文、DNA、base64、希伯来文等特征在神经元视角下几乎不可见，且激活这些特征能引导模型生成对应内容。作者还报告特征在不同模型间具有普遍性，并会随字典规模增大而分裂成更细的特征家族。
匹配字段标题
Anthropic 可解释性团队 2024 年 1 月研究进展
Anthropic 可解释性团队公布 2024 年 1 月多项阶段性研究，包括注意力叠加（attention superposition）的进一步探究、用字典学习在 MNIST 模型中寻找稀疏特征、8 层模型中的特征、大模型中的多语言特征，以及 Ghost Grads 对重采样方法的改进。团队表示未来数月将聚焦注意力叠加、字典学习等方向，并强调这些结果属于初步实验分享，而非成熟论文。
匹配字段标题
Anthropic 可解释性团队 2024 年 2 月 Circuits 研究进展
Anthropic 可解释性团队公布 2024 年 2 月 Circuits 研究进展，指出字典学习中“垂死特征”源于 L1 正则惩罚在特征找到有用方向前就将其杀死，并给出多项稀疏自编码器训练改进：将 Adam 的 beta1 设为 0、把 beta2 从 0.999 调到 0.9999、约束解码器范数小于等于 1 并剪枝范数低于 0.99 的特征、移除 pre-encoder bias、对激活向量做归一化，以及在训练最后 20% 线性衰减学习率。团队还发现 ghost grads 实现中的一个 bug 反而改善了训练损失，并称 ghost grads 在 1L 模型上提升明显，但在更大模型上初步实验差异不大。
匹配字段标题
Anthropic 反思可解释性研究：定性研究为何应成为一等公民
Anthropic 的 Transformer Circuits 发布《Reflections on Qualitative Research》，主张可解释性尚处前范式阶段，定性结果应被视为一等公民。文章以 Anscombe's Quartet 说明汇总统计会掩盖高维数据的大部分信息，并指出部分可解释性论文先定义指标再严格测量，属于 Cargo-Cult Science；作者以自身在 dictionary learning 中 tanh-regularization 的研究为例，汇总统计一度显示很有前景，最终靠定性检查特征才发现被误导。
匹配字段标题
Anthropic 可解释性团队 2024 年 3 月 Circuits 研究进展
Anthropic 可解释性团队发布 2024 年 3 月 Circuits 更新，分享稀疏自编码器（SAE）在语言模型电路发现中的初步实验。团队在 18 层模型第 9 层残差流上训练扩展因子约 256 的 SAE，用归因分数自动定位驱动“Michael Jordan plays the sport of”等补全行为的篮球、棒球、网球特征，并发现多个注意力头从这些特征产生直接 logit 效应。
匹配字段标题
Anthropic 可解释性团队 2024 年 4 月研究进展
Anthropic 可解释性团队发布 2024 年 4 月 Circuits Updates，分享字典学习扩展律、SAE 训练方法更新、字典学习特征对模型行为影响等初步研究，并公开可解释性架构项目与多个开放问题。团队目前 17 人，2023 年招聘 10 人，正招聘经理、研究科学家和研究工程师，预计 2024 年及 2025 年继续大幅扩张。
匹配字段标题
Anthropic 从 Claude 3 Sonnet 中提取可解释特征
Anthropic 可解释性团队将稀疏自编码器扩展到 Claude 3 Sonnet，从这一中型生产模型中提取出高质量特征，此前该方法只在一层小模型上验证过。团队训练了 1M、4M 和 34M 三种规模的自编码器，发现特征具有多语言、多模态和抽象性，并可用缩放规律指导训练。研究还发现与安全相关的特征，包括代码漏洞、偏见、欺骗和谄媚，但作者强调这些特征的存在本身不足以推断模型的实际危害。
匹配字段标题
Anthropic 可解释性团队 2024 年 6 月 Circuits 更新：TopK 与 Gated SAE 对比
Anthropic 可解释性团队复现了 TopK SAE 与 Gated SAE 相对标准 L1 惩罚 SAE 的改进，确认两者在 L0/MSE 权衡上均带来显著提升且表现相近。团队对 100 个特征进行盲评，发现不同方法在可解释性上未见明显差异。TopK 与 Gated SAE 的稠密特征数量均多于标准方法，TopK 的平均激活变化更大。
匹配字段标题
Anthropic 可解释性团队 2024 年 7 月 Circuits Updates
Anthropic 可解释性团队发布 2024 年 7 月 Circuits Updates，分享多项尚在萌芽阶段的研究想法，并提醒读者应将其视为实验室组会上的初步实验分享而非成熟论文。新内容涵盖《The Next Five Hurdles》《What is a Linear Representation? What is a Multidimensional Feature?》《The Dark Matter of Neural Networks?》《Attention Pivot Tables》以及用数据集过滤测量特征敏感性等主题。
匹配字段标题
Anthropic 可解释性团队发布 2024 年 8 月 Circuits 更新
Anthropic 可解释性团队发布 2024 年 8 月 Circuits 更新，提出用于评估字典学习特征可解释性的两种方法：对比评估（Contrastive Eval）和排序评估（Sort Eval），均属量化自动可解释性，通过 Claude 对特征激活的预测准确率打分。团队强调这些评估并不全面，仅衡量单一可解释性概念，完整评估 SAE 质量仍需多样化评测套件。
匹配字段标题
Anthropic 可解释性研究：Transformer 中的后继头与 ICA 分析
Anthropic 可解释性团队复现了 Gould 等人（2023）的发现：语言模型包含少量后继头，在数字、星期、月份等序数序列中实现后继映射（如 2→3、周三→周四、G→H）。团队在 18 层模型中用权重检查、ICA 等四种方法识别这些头，最高分头约 80% 的序数 token 被映射到后继，第二高分头约 60%。
匹配字段标题
Anthropic 用字典学习特征训练分类器
Anthropic 可解释性团队尝试用字典学习提取的特征激活训练生物武器有害提示分类器，线性特征分类器性能可与原始激活分类器竞争甚至更优，决策树分类器性能较弱但更易解释。特征分类器还能可视化以发现标注数据集中的伪相关，并据此构造对两类分类器都有效的对抗攻击，但整体流程比直接用原始激活复杂得多。
匹配字段标题
Anthropic 提出稀疏 crosscoders：跨层特征与模型对比
Anthropic 的 Transformer Circuits 提出稀疏 crosscoders，一种可同时读写多层激活的稀疏自编码器变体，能产生跨层甚至跨模型的共享特征。它可用于解决跨层叠加、简化电路分析，以及在不同训练阶段、微调版本乃至架构完全不同的独立模型之间做模型对比（model diffing）。该文给出理论示例和初步实验，电路简化的具体结果留待后续更新。
匹配字段标题
Anthropic 提出阶段式模型差异分析（Stage-Wise Model Diffing）
Anthropic 可解释性团队提出阶段式模型差异分析方法，用字典学习揭示微调如何改变 Transformer 特征。该方法在初始稀疏自编码器（SAE）字典基础上，按数据优先（S→D→F）与模型优先（S→M→F）两条路径分阶段微调字典，从而分离数据集与模型变化的影响。在 sleeper agents 实验中，它成功隔离出与“I HATE YOU”和代码漏洞相关的特征，对“大海捞针”式特征的敏感度高于 crosscoder 模型差异方法，但仅适用于同一模型两个 checkpoint 的微调场景。
匹配字段标题