先了解这件事
AI 综述
Anthropic 训练了一个单层 Transformer,并将其分解为 token、位置、特征与 logits 之间的虚拟权重,沿“有效性”和“有益性”两个维度打分,首次在训练好的 Transformer 内部通过测量对训练损失的影响,实证了干扰权重的存在。研究发现,有益与有害权重散布在整个虚拟权重幅度范围内;剪掉有效性最低的 70% 权重仅使损失上升 0.01 nats,剪掉 85% 上升 0.1。最有效的权重绝大多数是有益的,其有效性比任何有害权重高出一个数量级。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic 在单层 Transformer 中刻画干扰权重事件进展
1 个已确认进展
- 来源：Anthropic：Transformer Circuits
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月13日
Anthropic：Transformer Circuits一手
Anthropic 在单层 Transformer 中刻画干扰权重
Anthropic 训练了一个单层 Transformer，将其分解为 token、位置、特征与 logits 之间的虚拟权重，并沿“有效性”和“有益性”两个维度打分，首次在训练好的 Transformer 内部通过测量对训练损失的影响，实证了干扰权重的存在。研究发现有益与有害权重散布在整个虚拟权重幅度范围内，剪掉有效性最低的 70% 权重仅使损失上升 0.01 nats，剪掉 85% 上升 0.1。最有效的权重绝大多数是有益的，其有效性比任何有害权重高出一个数量级。