先了解这件事
Anthropic 发布研究,用电路追踪与归因图方法研究 Claude 3.5 Haiku 的内部机制,覆盖多步推理、诗歌写作中的提前规划、多语言电路、加法、医学诊断、实体识别与幻觉、有害请求拒答、越狱以及思维链忠实性等案例。研究使用跨层 transcoder 构建含 3000 万特征的替换模型,并通过抑制与替换特征等干预实验验证归因图预测的机制。作者指出该方法目前仅对约四分之一的提示给出满意解释,且归因图基于替换模型,只能提出假设而非确定结论。同一研究还提出电路追踪方法:用跨层转码器替换模型 MLP 构建可解释的替代模型,再生成描述模型在特定提示上计算步骤的归因图;在 18 层模型上,最大的 10M 特征 CLT 在约 50% 的预训练风格提示上复现了原模型的下一 token 预测,归一化重建误差约 11.5%,平均 L0 为 88。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 提出电路追踪方法，用归因图揭示语言模型计算图事件进展
2 个已确认进展
- 来源：Anthropic：Transformer Circuits
- 来源：Anthropic：Transformer Circuits
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic：Transformer Circuits一手精选
Anthropic 提出电路追踪方法，用归因图揭示语言模型计算图
Anthropic 提出电路追踪方法，用跨层转码器替换模型 MLP 构建可解释的替代模型，再生成描述模型在特定提示上计算步骤的归因图。在 18 层模型上，最大的 10M 特征 CLT 在约 50% 的预训练风格提示上复现了原模型的下一 token 预测，归一化重建误差约 11.5%，平均 L0 为 88。配套论文将该方法应用于 Claude 3.5 Haiku，覆盖多跳推理、诗歌规划、幻觉与越狱等九类行为。
Anthropic：Transformer Circuits一手精选
Anthropic 用电路追踪研究 Claude 3.5 Haiku 的内部机制
Anthropic 发布研究，用电路追踪与归因图方法研究 Claude 3.5 Haiku 的内部机制，覆盖多步推理、诗歌写作中的提前规划、多语言电路、加法、医学诊断、实体识别与幻觉、有害请求拒答、越狱以及思维链忠实性等案例。研究使用跨层 transcoder 构建含 3000 万特征的替换模型，并通过抑制与替换特征等干预实验验证归因图预测的机制。作者指出该方法目前仅对约四分之一的提示给出满意解释，且归因图基于替换模型，只能提出假设而非确定结论。