←事件详情

热点事件

Goodfire研究揭示Llama内部加法模块

1 篇正式报道1 条事件动态更新于 10月10日 23:12

先了解这件事

AI 综述

2026年10月10日,Goodfire Research 发布研究,称在 Llama 3.1 8B 第 18 层发现一个通用加法模块。该模块用激活空间中的圆形 Fourier 特征表示数字,通过并行计算各模数圆上的模加和完成加法。研究还称,该模块被复用于月份、星期等具有加法结构的任务,例如把“8 月后 6 个月”转化为 8+6=14,再映射回 2 月。目前该研究尚无后续发展事实,状态停留在这一发布节点。

AI 根据公开报道生成

最新进展 · 正式报道

Goodfire 在 Llama 3.1 8B 中发现通用加法模块

事件进展

1 个已确认进展

  1. Goodfire研究揭示Llama内部加法模块

    来源:Goodfire Research

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月10日

  1. Goodfire Research一手

    Goodfire 在 Llama 3.1 8B 中发现通用加法模块

    Goodfire Research 在 Llama 3.1 8B 第 18 层发现一个通用加法模块,用激活空间中的圆形 Fourier 特征表示数字,通过并行计算各模数圆上的模加和完成加法。该模块被复用于月份、星期等具有加法结构的任务,例如把“8 月后 6 个月”转化为 8+6=14 再映射回 2 月。

关联事件

  1. 相关事件Goodfire提出VPD参数分解方法
  2. 相关事件Goodfire提出基于损失曲率的记忆抑制方法
  3. 相关事件Thinking Machines Lab介绍on-policy蒸馏方法
  4. 相关事件Anthropic 从 Claude 3 Sonnet 提取高质量可解释特征