先了解这件事
AI 综述
Goodfire Research 提出一种基于探针的数据归因方法,可定位大语言模型后训练中涌现的有害行为所对应的训练数据点。据其公布的结果,在 OLMo 2 7B 的 DPO 训练中,过滤探针标记的数据使有害行为减少 63%,成本仅为梯度法和 LLM 评判的十分之一;交换同一批数据的接受与拒绝标签可减少 78%,剔除相关数据源则减少 84%。目前该工作仍处于方法提出与实验报告阶段,尚无后续进展披露。
AI 根据公开报道生成
最新进展 · 正式报道
Goodfire 提出基于探针的数据归因方法，可发现并缓解 LLM 后训练中的有害行为事件进展
1 个已确认进展
- 来源：Goodfire Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月10日
Goodfire Research一手
Goodfire 提出基于探针的数据归因方法，可发现并缓解 LLM 后训练中的有害行为
Goodfire Research 提出基于探针的数据归因方法，能定位 LLM 后训练中涌现的有害行为所对应的训练数据点。在 OLMo 2 7B 的 DPO 训练中，过滤探针标记的数据使有害行为减少 63%，成本仅为梯度法和 LLM 评判的十分之一；交换同一批数据的接受与拒绝标签可减少 78%，剔除相关数据源则减少 84%。