先了解这件事
2026年10月15日,Goodfire 的 Nick Cammarata 发布文章提出,神经网络本已足够清晰,多数神经元本身可解读,许多著名的多义性案例属于误读。他称2023年在 OpenAI 的自动可解释性工作只找到约2%可解读神经元;相关讨论提到 Qwen-32B 中90%的神经元只承担一项功能。后续报道称,他在长文《Neural Networks Are Already Clean》中推翻自己十年前参与的 InceptionV1 4e:55 神经元案例结论,称该神经元检测的是 V 字几何形状,并称在现代视觉模型最后一层99%至100%的神经元都能找到清晰解释,还提出递归泛化解释多义性。Neel Nanda 质疑该文未带来实质突破,认为双方争论的是不同定义的叠加,弱激活承载大量事实记忆;Leo Gao 主张用神经元模拟的 KL 指标评判解释,Pfau 指出论文尚未发表。
AI 根据公开报道生成
最新进展 · 正式报道
AI 可解释性是否接近突破?一篇新文章让研究者意见分裂事件进展
1 个已确认进展
- 来源:Latent Space
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月16日
The Decoder
AI 可解释性是否接近突破?一篇新文章让研究者意见分裂
Goodfire 研究员 Nick Cammarata 在长文《Neural Networks Are Already Clean》中提出,大模型内部比此前认为的更容易理解,并重新解释了自己参与提出的叠加假说经典案例,认为猫车神经元实为 V 形检测器。他给出初步数据称 Qwen3-32B 中约 90% 的神经元极点只有一个主要功能,仅 2% 到 4% 无法解释。OpenAI 的 Roon 称这可能是科学史上的重要时刻,Google DeepMind 的 Neel Nanda 则认为这只是实用工具而非突破,并坚持叠加现象真实存在。配套技术论文尚未发布。
雷锋网
Nick Cammarata 万字长文称神经网络并非黑箱,Neel Nanda 质疑其未带来实质突破
OpenAI 早期机制可解释性研究者 Nick Cammarata 发表长文《Neural Networks Are Already Clean》,推翻自己十年前参与的 InceptionV1 4e:55 神经元案例结论,称该神经元检测的是 V 字几何形状而非猫或汽车,并称在现代视觉模型最后一层 99% 至 100% 的神经元都能找到清晰解释。他提出递归泛化解释多义性,并称在 InceptionV1 3b 层将 480 个神经元压缩至 10 个重新训练后仍个个可解释,而 SAE 解缠出的特征响应宽度反而更粗。Google DeepMind 机制可解释性团队负责人 Neel Nanda 质疑该文未带来实质突破,指出双方争论的是不同定义的叠加,弱激活承载大量事实记忆,且论文证据主要来自视觉模型。
Latent Space精选
Goodfire 的 Nick Cammarata 提出神经网络已足够清晰,称多义性判断有误
Goodfire 的 Nick Cammarata 发布文章提出,多数神经元本身是可解读的,许多著名的多义性案例属于误读;他称 2023 年在 OpenAI 的自动可解释性工作只找到约 2% 可解读神经元。相关讨论提到 Qwen-32B 中 90% 的神经元只承担一项功能。Neel Nanda 表示这没有改变他的关键判断,仍认为存在表征叠加,弱激活承载记忆事实;Leo Gao 主张用神经元模拟的 KL 指标来评判解释,Pfau 指出论文尚未发表。
本事件热度走势
- 当前
- 9
- 区间峰值
- 26 10月16日 23:00
- 近 24 小时变化
- -50%
移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。