Cammarata's interpretability research sparks debate in the AI community: Are neural networks easier to understand than we think?

这篇文章彻底颠覆了人工智能领域的认知，引发了广泛的猜测，Sam Altman 还公开表达了赞赏。

研究员 Adam Majmudar 在 X 上写道：这是今年最重要的成果，其重要性堪比《Attention Is All You Need》。它让我们从「对齐问题是否能解决」的阶段，迈向了「我们或许能在明年解决对齐问题」的阶段。

还有人称：「自己对神经网络的理解仿佛被推进了五年的时间。」

文章作者 Cammarata 表示，他发表的时间恰逢人们寻求希望的时刻。

人工智能安全领域的研究人员和政策制定者们最担心的是，强大的模型可能会带来巨大的风险。目前，他们迫切需要一条「生命线」来支撑自己。这是文章引起如此大反响的原因之一。

文章里提出的判断颇为大胆：大型神经网络可能比人们过去想象的更容易理解，许多被视为难以拆解的内部结构，也许一直遵循着某种可以辨认的规律。

不过，伯克利非营利研究实验室 Alignment Research Center 的 Jacob Hilton 并不认为 Cammarata 的博客像大家所说的那样重要。

Hilton 在 X 上的推文指出，研究人员对顶级 LLM 内部运作的了解不到 0.01%。

「我一直很欣赏 Cammarata 的乐观，但不幸的是，这给公众呈现了一幅对该领域现状不切实际的图景。」

黑箱，也许是我们看错了

几乎所有大模型都在某种程度上使用了神经网络。

神经网络是一种受人类大脑工作原理启发而设计的机器学习模型，由许多被称为神经元的小单元组成，这些神经元以层的形式相互连接。

Cammarata 长期从事神经网络可解释性研究，早年曾参与建立一套影响深远的理论框架。

早期视觉模型中，同一个神经元会对猫脸和汽车前部这两类图片作出反应。它到底在识别什么？猫？汽车？还是把两个毫不相干的概念塞在了一起？

Cammarata 当年也相信，模型内部有许多这样纠缠不清的概念。

研究者为此发展出了「叠加」假说。解释是这样的：模型要表达的概念实在太多，可用的神经元数量有限，于是网络只好把不同的概念挤进同一个表示空间。一个神经元，就这样承载了几个看似风马牛不相及的含义。

为了把这些缠绕的概念解开，研究者还专门开发了稀疏自编码器等工具，试图将神经活动拆解成更清晰的单元。

远处传来的几乎平面波（对角线）与鸭子航迹产生的波之叠加，在水中只近似满足线性关系

Cammarata 现在认为，当初可能想多了。

那个神经元，可能在识别一种 V 形结构。猫脸的轮廓、汽车迎面形成的尖角、火焰的舌形和水流的分叉背后藏着同一种视觉规律。看起来毫不相干的对象，其实共享着同一个几何特征。

另一个曾被当作「叠加」证据的案例，也可能有更简单的解释。

研究者曾经发现，识别汽车的特征似乎藏在一组与狗有关的神经元里。Cammarata 重新检查后给出了另一种解释：狗和汽车可能共享着一种拍摄角度上的规律——它们在图片里往往以相似的姿态正对镜头。

如果这些经典案例都另有解释，神经网络内部真的那么难以理解吗？

Cammarata 报告称，在改善架构和分析方式后，即使不增加模型规模或训练数据，早期视觉模型 InceptionV1 最后一层约 99% 至 100% 的神经元也能够得到相对清晰的解释。

他还研究了跨越约 300 倍规模的模型，认为这些模型在不同尺度下都保留了相当程度的可读性。

Cammarata 用「递归泛化」来描述自己观察到的另一种规律。

一个神经元在学习过程中，可能从某种狭窄的模式出发，逐渐延伸出与之相关的分支，就像树枝长出侧枝。

以语言模型为例，一个最初识别字母组合「iy」的神经元，后来可能对「diy」以及语义上相关的「do it yourself」产生反应。若只看模型训练完成后的触发清单，这些反应似乎相距很远；若追踪它们在学习过程中如何形成，就可能找到连续的关联路径。

在 Cammarata 看来，许多复杂现象来自普通模式不断扩展、组合和分化，而非概念被随意塞进同一个神经元。

这个思路已经有了初步的验证。在 Qwen3-32B 中，约 90% 的神经元正负响应方向各自具有一个主要功能，约 7% 涉及两个相关功能，尚未得到解释的部分约为 2% 至 4%。

越理解，越安全

如果能够可靠地追踪模型内部的信息流，安全研究就有机会从观察结果进一步深入到分析机制。

研究者可以尝试识别模型中的特定神经元、计算回路和信息传递路径，再通过干预实验，观察某种内部机制的变化是否会改变模型的行为。

如果一组神经元参与了某种推理，一条计算回路与特定的判断有关，那么研究者就有机会对它们进行更有针对性的检验。

相比只根据最终答案判断模型是否安全，这种方法试图把安全评估推进到行为产生的内部过程。

Cammarata 的研究之所以引人注目，也正在于此。

如果神经网络的内部结构确实比人们过去认为的更有条理，那么理解它的成本就可能下降。研究者可以直接研究模型已经形成的机制，追踪这些机制如何相互配合，逐渐建立一幅更完整的内部地图。

不过，模型的内部机制并不等同于我们习惯使用的心理学概念。一个与欺骗有关的神经元，不一定就是模型内部某种独立存在的「欺骗意图」；一个能够预测拒绝回答的特征，也不一定足以说明模型理解了拒绝的理由。

研究者需要通过多种证据来验证解释，既要观察神经活动，也要进行干预、反事实测试和跨情境复验。否则，所谓理解仍然可能只是给某种统计关联贴上一个听起来合理的标签。

安全工作上，模型评估、红队测试、访问权限控制、运行时监测，以及对高风险能力的部署限制，都有各自无法轻易替代的作用。研究者对模型的理解始终存在边界，现实中的风险也往往来自多个环节的叠加。

谈到 AI 的长期安全，Sam Altman 近日提出的三种可能性结局，把问题引向了更大的制度层面。

一种是建立类似国际原子能机构的国际组织，负责制定并执行安全标准；一种是将所有人工智能实验室整合到同一个机构中，共同开发新技术，并确保技术得到安全应用；还有一种是某个 AI 开发者积累起足够强大的经济实力，能够切断其他开发者的计算资源，让潜在的危险开发者失去继续推进项目的能力。

核技术的发展早已说明，某些技术的风险可能超出单个国家的控制范围，需要建立共同认可的标准、核查机制和国际合作渠道。国际原子能机构的经验为此提供了一个参照。

不过，人工智能与核技术存在明显差异。模型可以通过软件复制和远程部署，技术迭代的速度也远快于许多传统工业体系。

即使建立国际机构，如何判断哪些模型需要接受严格审查，如何核实开发者是否遵守标准，以及如何处理不同国家之间的技术竞争，依然是棘手的问题。

如果所有 AI 实验室都属于同一个机构，研究者就不必为了争夺市场份额而加快开发进度，各团队也可以共享安全研究成果，避免重复犯错。资源集中还可能使高风险实验接受统一审查，减少某个团队为了抢先一步而绕过安全程序的空间。

但由谁来管理这个机构，又由谁来监督管理者？

当所有关键技术、计算资源和研究能力都集中在同一个组织内，安全标准确实可能更容易统一，权力也可能因此变得难以制衡。

机构内部的判断一旦出现系统性错误，整个技术体系都可能受到影响。若管理层对某些风险的判断存在偏差，其他独立实验室原本可以发挥的纠错作用，也会随之减弱。

第三种设想不要求所有开发者接受同一套管理制度，也不必等待一个拥有广泛授权的国际机构形成共识。只要某个开发者拥有足够的资本、算力和基础设施，就可能通过控制 GPU、数据中心及相关供应链，限制其他开发者继续训练或部署模型的能力。

Altman 说，这是他最不想看到的情况。

回到 Cammarata 的研究，可解释性的进展或许能够为这些治理问题提供新的技术基础。假如研究者可以更可靠地识别模型内部的关键机制，就有机会改进安全评估、审计高风险能力，并验证某些干预措施是否真正有效。

随着技术能力不断增强，重要的将不只是我们能否看懂越来越复杂的模型，还包括社会能否建立足够可靠的机制，确保理解技术的人有能力监督它，掌握技术的人也始终受到约束。

本文来自微信公众号“APPSO”，作者：发现明日产品的，36氪经授权发布。