先了解这件事
AI 综述
Anthropic 推出 HeadVis,一个用于研究大语言模型注意力头的交互式可视化工具,并开源了代码。该工具通过注意力模式可视化、分布指标、低秩分量投影以及经 QK/OV 电路的 SAE 特征归因,来生成和检验关于注意力头功能的假设。据 Anthropic 的 Transformer Circuits 发布内容,作者用 HeadVis 分析了 Claude Haiku 3.5 的注意力头,并提供了 Gemma 3 及 Haiku 3.5 部分注意力头的演示。目前该工具已开源,尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
HeadVis：用于研究注意力头的交互式工具事件进展
1 个已确认进展
- 来源：Anthropic：Transformer Circuits
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic：Transformer Circuits一手
HeadVis：用于研究注意力头的交互式工具
Anthropic 推出 HeadVis，一个用于研究大语言模型注意力头的交互式可视化工具，并开源了代码。该工具通过注意力模式可视化、分布指标、低秩分量投影以及经 QK/OV 电路的 SAE 特征归因来生成和检验关于注意力头功能的假设。作者用 HeadVis 分析了 Claude Haiku 3.5 的注意力头，并提供了 Gemma 3 及 Haiku 3.5 部分注意力头的演示。