先了解这件事
AI 综述
Anthropic 发布一项研究,提出通过合成文档微调(SDF)修改 LLM 的信念:先用 LLM 生成引用某命题的合成文档,再以监督微调方式训练,模型通常会在行为上与该命题保持一致,即使命题是错误的。研究配套了基于提示和探针的信念评测,发现 SDF 能植入除最离谱事实之外的多类信念,且信念程度随事实与先验知识冲突加大而下降。研究还展示了两个概念验证应用:在遗忘场景中,被微调错误危险知识的模型即使被越狱也几乎总是输出错误信息;在蜜罐场景中,植入的信念可让有恶意目标的模型做出可检测的行为。相关代码已开源。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 用合成文档微调修改 LLM 信念事件进展
1 个已确认进展
- 来源：Anthropic Alignment Science Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic Alignment Science Blog一手精选
Anthropic 用合成文档微调修改 LLM 信念
Anthropic 发布研究，提出通过合成文档微调（SDF）修改 LLM 的信念：先用 LLM 生成引用某命题的合成文档，再以监督微调方式训练，模型通常会在行为上与该命题保持一致，即使命题是错误的。研究配套了基于提示和探针的信念评测，发现 SDF 能植入除最离谱事实之外的多类信念，且信念程度随事实与先验知识冲突加大而下降。研究还展示了两个概念验证应用：在遗忘场景中，被微调错误危险知识的模型即使被越狱也几乎总是输出错误信息；在蜜罐场景中，植入的信念可让有恶意目标的模型做出可检测的行为。相关代码已开源。