Anthropic 与 AE Studio 提出 GRAM 隔离危险知识
Anthropic 与 AE Studio 提出 Gradient Routed Auxiliary Modules(GRAM),通过在每层 MLP 增加辅助模块并选择性更新权重,把危险知识隔离到可开关的模块中,从而按用户信任度限制或开放敏感能力。在 50M 到 5B 参数的 Chinchilla 最优训练中,单个 GRAM 模型可重配置为匹配五种不同数据过滤模型的表现,且只需一次训练;在标签稀疏场景下其能力移除效果优于数据过滤和 LoRA。该研究为初步成果,尚未应用于 Anthropic 的生产模型。随后,Anthropic 又介绍了 Selective GradienT Masking(SGTM),在训练时只更新被指定为“可移除”的注意力头和 MLP 神经元,使 CBRN 等危险知识集中存储,训练后置零这些参数即可移除。在 254M 参数模型上,SGTM 在保留通用能力与移除生物学知识之间优于弱过滤和严格过滤两种数据过滤基线,且恢复被移除能力所需重训练量比其他遗忘方法多 7×。
匹配字段摘要