先了解这件事
Anthropic 与 AE Studio 提出 Gradient Routed Auxiliary Modules(GRAM),通过在每层 MLP 增加辅助模块并选择性更新权重,把危险知识隔离到可开关的模块中,从而按用户信任度限制或开放敏感能力。在 50M 到 5B 参数的 Chinchilla 最优训练中,单个 GRAM 模型可重配置为匹配五种不同数据过滤模型的表现,且只需一次训练;在标签稀疏场景下其能力移除效果优于数据过滤和 LoRA。该研究为初步成果,尚未应用于 Anthropic 的生产模型。随后,Anthropic 又介绍了 Selective GradienT Masking(SGTM),在训练时只更新被指定为“可移除”的注意力头和 MLP 神经元,使 CBRN 等危险知识集中存储,训练后置零这些参数即可移除。在 254M 参数模型上,SGTM 在保留通用能力与移除生物学知识之间优于弱过滤和严格过滤两种数据过滤基线,且恢复被移除能力所需重训练量比其他遗忘方法多 7×。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 提出 SGTM：将危险知识定位到可移除参数以消除 LLM 能力事件进展
2 个已确认进展
- 来源：Anthropic Alignment Science Blog
- 来源：Anthropic Alignment Science Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic Alignment Science Blog一手
Anthropic 提出 SGTM：将危险知识定位到可移除参数以消除 LLM 能力
Anthropic 提出 Selective GradienT Masking（SGTM），在训练时只更新被指定为“可移除”的注意力头和 MLP 神经元，使 CBRN 等危险知识集中存储，训练后置零这些参数即可移除。在 254M 参数模型上，SGTM 在保留通用能力与移除生物学知识之间优于弱过滤和严格过滤两种数据过滤基线，且恢复被移除能力所需重训练量比其他遗忘方法多 7×。
Anthropic Alignment Science Blog一手
Anthropic 提出 GRAM：模块化预训练实现能力级访问控制
Anthropic 与 AE Studio 提出 Gradient Routed Auxiliary Modules（GRAM），通过在每层 MLP 增加辅助模块并选择性更新权重，把危险知识隔离到可开关的模块中，从而按用户信任度限制或开放敏感能力。在 50M 到 5B 参数的 Chinchilla 最优训练中，单个 GRAM 模型可重配置为匹配五种不同数据过滤模型的表现，且只需一次训练；在标签稀疏场景下其能力移除效果优于数据过滤和 LoRA。该研究为初步成果，尚未应用于 Anthropic 的生产模型。