先了解这件事
AI 综述
Goodfire Research 在 GPT-2 Small 上训练跨层转码器(CLT),用 greater-than 任务验证其能否恢复已知计算机制。该 CLT 使用 FineWeb 的 100M tokens 训练,扩展因子 64,每层 49,152 个特征,12 层共 589,824 个特征。结果显示,CLT 能识别可解释特征,包括抽象的奇偶特征,但与 Hanna 等人发现的机制存在差异。目前尚无后续发展事实,状态停留在该复现结果本身。
AI 根据公开报道生成
最新进展 · 正式报道
Goodfire 复现 GPT-2 Small 的跨层转码器电路追踪事件进展
1 个已确认进展
- 来源：Goodfire Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月10日
Goodfire Research一手
Goodfire 复现 GPT-2 Small 的跨层转码器电路追踪
Goodfire Research 在 GPT-2 Small 上训练跨层转码器（CLT），用 greater-than 任务验证其能否恢复已知计算机制。CLT 使用 FineWeb 的 100M tokens 训练，扩展因子 64，每层 49,152 个特征，12 层共 589,824 个特征。结果显示 CLT 能识别可解释特征（包括抽象的奇偶特征），但与 Hanna 等人发现的机制存在差异。