AlphaFold 为何没有解决蛋白质折叠：Google DeepMind 的 Pushmeet Kohli 与 Biohub 的 Sal Candido 对谈

从AI扩展的苦涩教训到蛋白质折叠的未解之谜，Google DeepMind的Pushmeet Kohli和Biohub的Sal Candido正在重新思考，要构建真正理解生物学的AI需要什么。在这场由Brandon Anderson主持的特别座谈中，他们探讨了为什么AlphaFold的突破只是开始，为什么仅靠扩展算力和数据无法解决生物学问题，以及下一代AI模型如何可能改变我们对蛋白质、细胞和人类疾病的理解。

我们深入探讨AI驱动生物学的未来：在生物数据中寻找缩放定律、科学直觉与通用架构之间的权衡、为什么蛋白质结构预测远未解决，以及构建生命系统预测模型需要什么。Pushmeet回顾了AlphaFold背后的经验教训、人类可解释性的局限，以及未来的前沿模型是否能比我们更好地理解其他AI系统。Sal解释了为什么蛋白质语言模型可能已经包含我们尚未解锁的科学知识、生物建模为何必须超越单个蛋白质，以及为什么要实现Biohub治愈所有疾病的使命，需要以10倍突破而非渐进式改进来思考。

我们讨论：

生物学的苦涩教训：为什么扩展算力和数据还不够；为什么找到正确的缩放定律比盲目增大模型规模更重要；低质量宏基因组数据如何改进蛋白质语言模型；为什么AI研究者针对可用数据而非最重要的科学问题进行优化；DeepMind在平衡建模、数据生成和科学专业知识方面的经验教训；为什么构建虚拟细胞需要根本不同的数据集；AlphaFold的手工设计架构与科学直觉的作用；为什么好的数据比仅仅拥有更多数据更重要；归纳偏置、缩放定律与专用AI架构的未来；为什么我们并未进入后Transformer时代，但架构正在演进；为什么AlphaFold实际上并未解决所有蛋白质折叠问题；蛋白质动力学、无序性与静态结构预测的局限；冷冻电镜显微图像如何解锁更丰富的生物表征；从单个蛋白质模型迈向整个生物系统；费曼的著名原则以及为什么AI如今能创造出我们无法理解的东西；蛋白质语言模型中隐藏的生物学知识；为什么可信度和不确定性校准比完全可解释性更重要；前沿AI模型能否比人类更好地解读其他AI系统；AI何时能在药物发现中带来10倍至100倍加速；为什么治愈所有疾病需要思考10倍突破而非10%的改进

Pushmeet Kohli — Google DeepMind

Sal Candido — Biohub

Brandon Anderson — 主持人

00:01:00 寻找缩放定律与适合生物学的正确数据

00:04:54 DeepMind的苦涩教训：解决问题 vs. 扩展模型

00:09:52 手工设计架构 vs. 扩展算力

00:23:48 AlphaFold、可信度与可解释性

00:25:56 AI能否比人类更好地理解其他AI模型？

00:27:43 AI何时将彻底改变药物发现？

引言：数据是否存在苦涩教训？

Brandon Anderson [00:00:04]：很高兴来到这里。多么令人兴奋的早晨。这么多精彩的发布。我认为生物科学的未来正在这里被宣告。这是建模专场。我们都是建模者，所以谈论数据对我们来说再自然不过了。

谈到数据，我喜欢思考的一件事就是如何正确地扩展数据。这让我想到了苦涩教训的问题，但以数据为框架重新表述。对于不是AI圈内人的各位，苦涩教训是这样一种论断：能够扩展的方法最终会胜出。如果你能扩展得足够充分，它就会赢。所以我的问题，从Sal开始：数据是否存在苦涩教训？

Sal Candido [00:01:00]：当然。你显然需要正确的数据才能让它奏效。关于缩放定律的一个误解是，缩放定律无处不在且始终存在。很多工作实际上是在寻找那条缩放定律。我们做的很多事就是试图弄清楚：在什么情况下，如果你投入更多算力、投入更多数据，你就能得到更好的结果？

那是一种很棒的情况，因为一旦实现，你就可以转动曲柄。它变成了一个工程问题，这是我喜欢的事情。这与架构有关，但也与数据密切相关。如果你没有具备正确信息和统计数据的数据来解决你想要解决的问题，你就不会得到具备你想要的能力和理解的模型。你实际上只能从你拥有的数据中提取信息，并利用它来泛化到数据之外。

选择合适的数据：可得性与科学影响力

Brandon Anderson [00:02:09]：说到数据收集，你如何考虑哪些模态是最好的？一个相关的问题是：建模者是否倾向于研究数据可得的问题，而不是那些最符合他们目标或对转化医学影响最大的问题？

Sal Candido [00:02:32]：当然。我不能代表所有建模者，但我比较懒，所以我会用现有的数据来做。这件事有好的一面，也有坏的一面。

好的一面是，当你做传统机器学习时，你通常是在寻找能找到的最纯净、最高质量的数据样本。但如果你像我一样，你会在后屋里翻找，翻看别人的杂物，看看有什么。一个具体的例子是用宏基因组序列训练蛋白质语言模型，这些数据并不是最高质量的。事实上，我可以向你保证，其中很多数据甚至不是真实、完整的蛋白质。然而，它却能提升模型在设计真正有效的蛋白质以及理解我们已知存在的蛋白质方面的表现。

这是积极的一面。但它也可能把你引向一个消极的境地，让你说：“我们就扩大那些容易生成的数据的规模吧。”我不认为这一定是正确的做法。这正是我们今天在这里谈论BBI时让我感到兴奋的事情之一。它主动去问：“我们解决问题需要什么数据？”

关键在于正确的资源，但也在于正确的社区。我们在Biohub努力做的一件事就是公开工作、与社区合作，并推动整个社区前进。这至关重要，因为如果你只有人在构建模型，我们就会倾向于使用现有的数据。如果你只有人在生成数据，他们就会倾向于那些能够生成的东西。但如果你能作为一个社区，在每一步都以开放的方式合作，你就能弄清楚你实际需要什么数据。然后你就能找到那条缩放定律。

Brandon Anderson [00:04:50]：Pushmeet，你如何看待数据方面的苦涩教训？

Pushmeet Kohli [00:04:54]：Rich还在我们身边时，我正在DeepMind，当时就在思考这个苦涩教训的理念。我从Rich在DeepMind的原始演讲中得到的，并不是关于数据是否有用或我们应该如何思考机器学习的具体概念。我的理解是，他在谈论一些更概念化的东西。

有时当我们看问题时，我们会以一种非常宗教化的方式思考解决方案：“我是建模者”，或者“我是数据生成者”。我认为这就是苦涩教训。如果你带着这种心态去处理问题，你可能不会成功。问题优先，你应该在解决方案空间里保持灵活。你应该两种方法都尝试。你应该理解你试图解决的问题。如果它需要建模工作，就做建模工作。如果它需要收集更多数据，那就收集数据。

当时机器学习界发生的情况是，人们说：“我们是机器学习研究者。数据集就在那里。这是一些训练数据，这是一些测试数据，我们就优化模型吧。”这是有缺陷的，因为如果你的最终目标是解决问题，你就必须审视过程中涉及的两个方面。

而过程中涉及的不仅仅是数据或建模。还有专业知识。以AlphaFold为例，我们审视了现有数据集能做什么，因为我们没有核心专业知识，甚至没有资源，来说“让我们把PDB扩充一个数量级”。世界各地的组织和科学家为构建那个数据所投入的一切是无价的。所以在那里，你必须专注于通过投资建模来获得最大的回报。

但在其他领域，比如细胞基因组学，我们采取了同样的方法，问：“你能用细胞×基因数据做什么？”经过大量工作后，非常清楚的是，数据还不足以追求构建虚拟细胞这一宏大愿景。这促使人们聚集在一起，专注于推进科学的实际挑战，而不是宗教般地追随数据生成或建模的进展。

Brandon Anderson [00:08:23]：我非常喜欢这个回答。可操作的要点是什么？始终先定义问题，然后弄清楚要搜索哪个解决方案空间。但更广泛地说，当我们迈向下一代转化医学时，社区应该如何思考这个问题？

当时机器学习界发生的情况是，人们说：“我们是机器学习研究者。数据集就在那里。这是一些训练数据，这是一些测试数据，我们就优化模型吧。”这是有缺陷的，因为如果你的最终目标是解决问题，你就必须审视过程中涉及的两个方面。

而过程中涉及的不仅仅是数据或建模。还有专业知识。以AlphaFold为例，我们审视了现有数据集能做什么，因为我们没有核心专业知识，甚至没有资源，来说“让我们把PDB扩充一个数量级”。世界各地的组织和科学家为构建那个数据所投入的一切是无价的。所以在那里，你必须专注于通过投资建模来获得最大的回报。

但在其他领域，比如细胞基因组学，我们采取了同样的方法，问：“你能用细胞×基因数据做什么？”经过大量工作后，非常清楚的是，数据还不足以追求构建虚拟细胞这一宏大愿景。这促使人们聚集在一起，专注于推进科学的实际挑战，而不是宗教般地追随数据生成或建模的进展。

Brandon Anderson [00:08:23]：我非常喜欢这个回答。可操作的要点是什么？始终先定义问题，然后弄清楚要搜索哪个解决方案空间。但更广泛地说，当我们迈向下一代转化医学时，社区应该如何思考这个问题？

当时机器学习界发生的情况是，人们说：“我们是机器学习研究者。数据集就在那里。这是一些训练数据，这是一些测试数据，我们就优化模型吧。”这是有缺陷的，因为如果你的最终目标是解决问题，你就必须审视过程中涉及的两个方面。

而过程中涉及的不仅仅是数据或建模。还有专业知识。以AlphaFold为例，我们审视了现有数据集能做什么，因为我们没有核心专业知识，甚至没有资源，来说“让我们把PDB扩充一个数量级”。世界各地的组织和科学家为构建那个数据所投入的一切是无价的。所以在那里，你必须专注于通过投资建模来获得最大的回报。

但在其他领域，比如细胞基因组学，我们采取了同样的方法，问：“你能用细胞×基因数据做什么？”经过大量工作后，非常清楚的是，数据还不足以追求构建虚拟细胞这一宏大愿景。这促使人们聚集在一起，专注于推进科学的实际挑战，而不是宗教般地追随数据生成或建模的进展。

Brandon Anderson [00:08:23]：我非常喜欢这个回答。可操作的要点是什么？始终先定义问题，然后弄清楚要搜索哪个解决方案空间。但更广泛地说，当我们迈向下一代转化医学时，社区应该如何思考这个问题？

Pushmeet Kohli [00:08:47]：我给任何刚进入这个领域的人的建议是，把自己看作一个多学科的人。先理解问题。你为什么要研究它？你想实现什么？然后思考需要什么，无论是建模、计算扩展还是数据生成。理解问题极其重要，当然你也需要建立自己的专业能力。

也有约束条件。也许你能生成的数据量只有这么多，或者你能负担训练的模型规模只有这么大。理解这些约束，尝试快速失败，并看看哪些方法从长期来看是可行的，能让你达到你所追求的影响力水平。

科学归纳偏置与扩展：构建模型的手艺

Brandon Anderson [00:09:52]：这正好引出了我的下一个问题。当我审视建模的演变时，AlphaFold 2 本质上是一件艺术品，包含大量精心手工打造的特征。解决方案的每一部分都经过了非常刻意的思考。Google 或 Alphabet 的一些工作仍然停留在那个领域，但普遍共识似乎正在转向更具可扩展性的通用策略。

对于某些问题，我们仍然需要手工匠人式的解决方案吗？还是说资源更好地花在优先关注规模上？在资源和资金固定的情况下，你可以投资于计算、人才或数据。我们应该如何思考这种权衡？

Pushmeet Kohli [00:10:48]：让我们从第一性原理出发。构建更好模型的艺术和手艺并非偶然。我们做了大量实验，但背后有一个愿景。来自生物物理学和生物化学的科学直觉告诉我们，氨基酸残基并不是各自为政。它们受到其他残基的影响。所以让我们把这一点融入进去。如果你从科学界学到了什么，就利用那些信息。给模型那种不公平的优势。

这使模型的数据效率高得多，因为它不必重新学习一切。我还必须提到，整理好的数据本身就是一门艺术。并不是说你可以简单地说：“多放点数据进去。”如果你复制同样的数据，你不会有什么进展。这不仅仅关乎大数据；它关乎好的数据，以及理解取得进展所需的数据覆盖范围。这本身就是一个更有趣、更具挑战性的问题。

Brandon Anderson [00:12:20]：看起来你有想法，Sal。你怎么看？

Sal Candido [00:12:24]：我非常同意。这取决于要解决的问题。如果你的数据量较小，在模型中拥有更多归纳偏置会对你有所帮助。在较小的数据规模下，你实际上需要它才能取得结果。随着你获得越来越多的数据，有时模型会发现一些你未必知道的东西，而有时那种归纳偏置，如果它并不完全正确，反而会阻碍你。随着情况变好，会有一个临界点。

但我对你的问题也有点异议，因为扩展这件事本身也有很多手艺。有大量的算法工作投入到拿模型、在更多数据上训练它们、给它们投入更多计算、让它们变得更大。而且这不仅仅是从基础设施角度或让模型推理更快。我们看到事情正在超越标准 transformer，走向更定制的架构。我认为我们绝没有进入后 transformer 世界，但我们正在修改这些架构，使它们更契合目的、表现更好，即使面对互联网规模的数据也是如此。

随着更多数据的涌入，挑战不仅在于整理那些数据或选择模型需要的下一批信息。还在于在每一步、每一个规模上追问，什么才是从那些信息中获取最大价值的正确架构。

Brandon Anderson [00:14:36]：如果你想想蛋白质结构预测的现状，新闻会说蛋白质结构预测已经被解决了。但如果你和我的朋友们聊聊，他们会说：“我们在这里还有很多事要做。”功能、动力学和设计仍然是完全开放的问题。距离 AlphaFold 2 发布已经大约五年了，也取得了进展。

Pushmeet，你认为还会有另一次大飞跃吗？解决这些问题有障碍吗？是我们没有正确的数据、算法或想法？还是只是时间问题？

Pushmeet Kohli [00:15:28]：科学是这样运作的：先把某个东西隔离出来，然后一步步取得进展。当人们说蛋白质折叠问题已经被解决时，在概念层面上确实有了一些进展。但想想把蛋白质说成是构建模块的那种叙事。蛋白质并不是模块，它们也不像模块那样起作用。我一直在说蛋白质是构建模块，但我其实并不真的相信这一点。

蛋白质极其复杂。它们是无序的。它们的形状可能会随环境而改变。John Jumper 和我过去常常讨论：我们到底想解决什么？我们并不知道蛋白质实际所处的真正基态，也不知道蛋白质实际采取的结构分布。我们当时想做的是复现某个人获得并存入 PDB 的一个结构。那就是我们所做的。而它恰好很有用。

但这并不意味着我们已经理解了蛋白质动力学的全部。在最高层面上，更容易传达的是我们取得了进展，但在座的科学家们知道还有多少工作要做。有很多值得庆祝的地方，但让我们不要停止资助蛋白质结构预测和蛋白质动力学，因为我们才刚刚开始。

Brandon Anderson [00:17:39]：最大的障碍是什么？如果你能挥一挥魔杖说：“我们有更多这种东西”，而这会加速功能、动力学或设计，你会让什么成为现实？

Pushmeet Kohli [00:17:54]：我的背景相当杂。我最初是一名安全研究员，然后进入计算机视觉、贝叶斯理论、判别式机器学习、深度学习、面向编码的 AI，最后是科学。所以当你问我这个问题时，我内心的计算机视觉研究者会对冷冻电镜显微图像非常兴奋。

我想，“这些 PDB 数据是什么？我应该从源头着手。我应该去看冷冻电镜显微图像。我不想要那些结构。它们肯定遗漏了所有数据。我应该直接在冷冻电镜显微图像上操作。”

能获得在那个层面上扩展的模型，配上适量的数据，并提取出那里捕捉到的动力学和分布信息，那会很棒。我尝试过，但这需要更多工作。

Brandon Anderson [00:18:57]：还有工作要做，但你相信那是一条能给你带来那些信息的路径？

Pushmeet Kohli [00:19:00]：是的。我认为在某个时候，也许会有比我更优秀的人来尝试一下，我们就会有所进展。

Brandon Anderson [00:19:07]：Sal，你怎么看？

Sal Candido [00:19:09]：这很有意思，因为这些模型相当有用，但它们并不完全是大多数人想解决的问题。它们解决一个非常特定的目的，你也可以用它们做其他事情。例如，你可以用它们来设计新蛋白质，而这未必是你一开始会着手做的事。

我把我们现在构建的模型想象成一个人试图理解自行车是如何工作的，却在为自行车上的一个辐条建模。这些模型可以随着时间越来越好，但你真正需要做的是从辐条模型推进到车轮模型，再到整辆自行车，因为那才是人们想理解的。继续这个类比，似乎人们想用自行车的模型来设计皮卡车的零件。

随着我们把这些模型放入它们运作的特定生物学语境中，我们将能够在更广泛的尺度上了解更多关于这些相互作用的信息。我认为事情正朝着那个方向发展。但我同意我们应该继续研究折叠模型，因为它们会不断变得更好。

蛋白质设计与科学理解

Brandon Anderson [00:20:43]：关于设计，费曼有一句名言：“我无法创造之物，我便无法理解。”现在我们身处一个世界，创造东西非常容易，却完全不需要理解它们。拥有帮助人类理解事物的模型，与拥有能有效一次性生成皮摩尔级结合物之类的神奇黑箱相比，有多重要？

Sal Candido [00:21:18]：早在 AI 出现之前，我们就已经在用神奇的黑箱设计东西了。从某种意义上说，那仍然有用。但理解非常重要，这是我在思考 AI 时最重要的事情之一。

这些模型有太多东西要学。随着智能变得更便宜、更易获得，你可以部署它来越来越多地了解世界上正在发生的事情。但你怎么把那些知识从机器里提取出来，好让我能理解它？也许那只是我的一种小众好奇心。我认为有太多东西要学。

Brandon Anderson [00:22:05]：很多科学家真的很想理解事物，终点对他们来说可能没那么重要。但我们在这里是要把转化医学作为一个问题来解决，对吧？

Sal Candido [00:22:18]：我认为你越深入钻研，就越能找到正确的方式继续推动它们前进。对我来说非常突出的一点是，这些模型所包含的信息比我们所知道的要多得多。

例如，我们在模型的可解释性方面做了大量工作，你可以在那里找到很多信息。人们知道蛋白质语言模型在其表征中学习到了某种结构概念，但我们还发现了关于功能和运动的信息。即使是我们现在拥有的模型，也还有很多有待解锁。随着我们提升它们的能力，理解这一点对我们很重要。

归根结底，你期望通过将所有这些信息压缩到一个模型中而涌现出一个世界模型。它如何完成自己的工作？它如何设计一个蛋白质？它已将来自进化的信息压缩到那个模型中。除了能够为我们产出有用的东西之外，仅仅通过观察其内部，也肯定有值得学习的东西。

AlphaFold 的置信度、校准与可解释性

Brandon Anderson [00:23:48]：Pushmeet，你怎么看？设计还是理解？

Pushmeet Kohli [00:23:53]：我的看法不同，我认为某种程度的理解是必要的。让我解释一下我指的是哪个层面。

AlphaFold 并不完美。当时 AlphaFold 2 在那个集合上的 GDT 分数约为 90。但即使它的 GDT 分数达到 95，如果它的 pLDDT 分数完全没有校准，谁会信任它？想象一下，它神奇地给出了好答案，却告诉你它非常有信心，然后你为此又研究了一年，却发现它完全错了。不确定性度量的校准极其重要。

从这个意义上说，我们确实理解 AlphaFold 2，我们在理解其行为方式方面取得了很大进展。这与理解它内部如何运作以找到解决方案是不同的。在这一点上我同意 Sal 的看法，可解释性问的是：它为什么有效？它为什么给出这个答案？

在最高层面上，AlphaFold 2 在其行为和泛化能力方面是可解释的，而我们在发布之前并未发现关于这一点的一切。当我们发布 AlphaFold 2 并公开权重时，人们发现它是一个出色的无序蛋白质预测器。它能找出蛋白质中哪些元素是无序的。这表明它具有泛化能力。

但可解释性提出了另一个问题：对谁可解释？如果你说的是对人类理性系统可解释，考虑到人脑的认知和计算局限，那么不，AlphaFold 2 是不可解释的。但如果你问的是 AlphaFold 2 对一个更大、更复杂的模型来说，就其运作方式而言是否可解释，也许它是可解释的。只是我们没搞懂。

作为 AlphaFold 2 的用户，我们确实需要理解它能做什么、不能做什么。理解其行为特征、优势和局限极其重要。没有这种刻画，我们就不能直接使用这些模型，因为否则它们不但帮不上忙，还可能伤害我们。

Brandon Anderson [00:26:53]：所以你的观点是，严格来说可解释性并非必要，但确保模型值得信赖、使人类能够做出可付诸行动的决策，才是人们应该关注的。

Pushmeet Kohli [00:27:04]：正是如此。可解释性也取决于观察者。是谁在解释它？如果是人类科学家试图解释模型如何做出预测，那与让另一个大得多的 LLM 访问激活层并说“你能预测 AlphaFold 会做什么吗？”是不同的。也许未来的那些前沿模型能够预测这一点，并提出一种关于 AlphaFold 2 如何解释和产生其结果的理论。

AI 何时将变革药物发现与临床医学？

Brandon Anderson [00:27:43]：我们还有两分钟提醒，所以最后问你们两位一个问题。AI 在不久的将来很有可能给人类健康带来巨大改善。我喜欢定量预测。最佳猜测：还要多久我们才能开始看到 AI 成果进入临床？Pushmeet，你想先来吗？

Pushmeet Kohli [00:28:08]：我认为“AI 成果进入临床”这个问题提得不好。如今 AI 已被用于药物发现过程的每一个环节。从这个角度看，它已经在那里了。

但如果你问的是我们何时会看到时间线加速 10 倍或 100 倍，那么下一个问题是：我们在加速什么？是先导化合物优化？靶点发现？临床前工作还是毒理学？

在未来几年里——这正是今天宣布的努力极其重要的原因——我们需要攻克生物学中一些艰难的挑战。只有到那时，我们才能获得真正解锁加速、从而彻底变革药物发现的东西。AI 将继续被用于那些不断进入临床的环节，但更大的加速只有在对这项努力试图创建的生物学模型有更好的理解后才会被解锁。

Brandon Anderson [00:29:43]：好的，谢谢。Sal，如果可以的话，请简短回答。我们时间快到了。

Sal Candido [00:29:47]：我很想真的戴上我的生物黑客帽子来回答这个问题。思考推动该领域前进意味着什么很重要。我们真正想看到的是结果受到影响。一种药物何时能完全由 AI 制造？我不知道。那很难预测。但我确实认为我们会很快看到快速进展，因为所有这些工具都已在被使用。

回到你关于基础研究和基础理解的观点，我在职业生涯中很久以前在谷歌学到的一件事是，有时通过问“要做到10倍改进需要什么”而不是“10%改进”，会更容易接近一个问题。这并不是因为10倍路径必然更容易。而是因为它让你能够采取更广阔的视角，看到你尚未尝试的解决方案。你回到第一性原理并问：“我们要怎么做？我们要如何真正推动这件事？”

10%和10倍这两种方法都很有价值，我们应该两者都做。我很高兴在Biohub我们有一个美好而崇高的使命宣言：治愈所有疾病。如果你想做到这一点，你真的需要弄清楚10倍的方法是什么。能够去做这件事是一个很好的机会。

Brandon Anderson [00:31:46]：太棒了。谢谢你们两位。感谢你们坐在名副其实的热座上。非常有趣。

关于本集的讨论