先了解这件事
事件摘要
还没有公开综述，先看下面的报道时间线。
最新进展 · 正式报道
Anthropic 研究：归纳头与上下文学习事件进展
1 个已确认进展
- 来源：Anthropic：Transformer Circuits
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic：Transformer Circuits一手精选
Anthropic 研究：归纳头与上下文学习
Anthropic 的 Transformer Circuits 发布论文，提出归纳头可能是 Transformer 模型中大部分上下文学习能力的机制。论文给出六条互补证据，包括训练早期的相变现象、架构扰动、消融实验，以及对 34 个模型训练过程和超过 50,000 次注意力头消融的分析。作者同时强调这些证据多为间接证据，尚不能完全确证该假设。