先了解这件事
AI 综述
Goodfire Research 提出一种基于损失曲率的方法,用于识别并抑制模型中的记忆内容。该方法可区分权重空间中支撑记忆与支撑通用计算的方向,从而对模型进行选择性编辑,在减少记忆内容的同时保留推理能力。研究显示,模型能力呈谱系分布:纯记忆在一端,逻辑推理在另一端,算术、事实回忆等介于两者之间。该方法无需针对特定数据优化,即可广泛抑制记忆样本,效果优于 SOTA 遗忘方法 BalancedSubnet(BSN)。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Goodfire 研究：通过损失曲率理解并抑制模型记忆事件进展
1 个已确认进展
- 来源：Goodfire Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月10日
Goodfire Research一手
Goodfire 研究：通过损失曲率理解并抑制模型记忆
Goodfire Research 提出一种基于损失曲率的方法，可区分权重空间中支撑记忆与支撑通用计算的方向，从而选择性编辑模型、减少记忆内容同时保留推理能力。研究显示模型能力呈谱系分布：纯记忆在一端，逻辑推理在另一端，算术、事实回忆等介于两者之间。该方法无需针对特定数据优化，即可广泛抑制记忆样本，效果优于 SOTA 遗忘方法 BalancedSubnet（BSN）。