先了解这件事
AI 综述
Goodfire Research 在 671B 参数的 DeepSeek R1 上训练并开源了两个稀疏自编码器(SAE),分别基于自建推理数据集和 OpenR1-Math 数学推理数据集。据其发布的信息,这是首批在真正推理模型及该参数规模上训练的公开解释器模型。实验发现 R1 与非推理语言模型存在本质差异:需等模型输出“Okay, so the user has asked a question about...”这类前缀后才能有效引导,且过度引导反而会让模型回退到原始行为。目前该工作仍为最新进展,尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Goodfire Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月10日
Goodfire Research一手
Goodfire 首次在 671B 参数 DeepSeek R1 上训练并开源稀疏自编码器
Goodfire 在 671B 参数的 DeepSeek R1 上训练并开源了两个稀疏自编码器（SAE），分别基于自建推理数据集和 OpenR1-Math 数学推理数据集，这是首批在真正推理模型及该参数规模上训练的公开解释器模型。实验发现 R1 与非推理语言模型存在本质差异：需等模型输出“Okay, so the user has asked a question about…”这类前缀后才能有效引导，且过度引导反而会让模型回退到原始行为。