先了解这件事
2026年10月10日,Goodfire Research 提出对抗式参数分解方法 VPD,将语言模型参数拆解为 rank-1 子组件,使少量子组件即可重建模型行为,并支持对注意力层跨头计算的电路分析。研究在一个 67M 参数、四层的语言模型上完成分解,共拆出 38,912 个子组件,每个数据点平均使用 205 个子组件。团队还开源了复现实验与运行 VPD 的代码库。次日,Goodfire Research 发布随机参数分解(SPD)论文,通过直接学习哪些参数组件对给定输入可删除,替代此前基于梯度归因的 APD,在识别真实机制上更稳定,突破了以往参数分解方法难以扩展到玩具模型之外的瓶颈;该方法聚焦分解模型权重而非激活,目标是找到忠实、最小且简单的计算组件。
AI 根据公开报道生成
最新进展 · 正式报道
Goodfire 发布随机参数分解 SPD，推动参数级机制可解释性扩展事件进展
2 个已确认进展
- 来源：Goodfire Research
- 来源：Goodfire Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月10日
Goodfire Research一手
Goodfire 发布随机参数分解 SPD，推动参数级机制可解释性扩展
Goodfire Research 发布论文提出随机参数分解（SPD），通过直接学习哪些参数组件对给定输入可删除，替代此前基于梯度归因的 APD，在识别真实机制上更稳定，突破了以往参数分解方法难以扩展到玩具模型之外的瓶颈。该方法聚焦分解模型权重而非激活，目标是找到忠实、最小且简单的计算组件。
Goodfire Research一手
Goodfire 提出 VPD 参数分解方法，将语言模型参数拆解为可解释子组件
Goodfire Research 提出对抗式参数分解方法 VPD，将语言模型参数拆解为 rank-1 子组件，使少量子组件即可重建模型行为，并支持对注意力层跨头计算的电路分析。研究在一个 67M 参数、四层的语言模型上完成分解，共拆出 38,912 个子组件，每个数据点平均使用 205 个子组件。团队还开源了复现实验与运行 VPD 的代码库，地址为 https://github.com/goodfire-ai/param-decomp。