AI 为何突然擅长数学：从提示序列与分支因子看模型解题模式

← 阅读室Latent SpaceAI 正越来越擅长数学。原因如下。

AI 模型正在解出越来越多的数学问题。它们的成功中正浮现出一种模式，或许能帮我们预测它们接下来会解出哪些问题。Ankit Maloo2024年10月23日·16 分钟阅读

今年 5 月，OpenAI 的一个内部模型找到了 Erdős 单位距离猜想的一个反例。这个猜想自 1946 年起一直悬而未决。许多专家曾试图证明它。OpenAI 却找到了一个反例。一个月后，OpenAI 发表了循环双覆盖（CDC）问题的证明，到 7 月又给出了另外十个开放问题的解。9 月又发表了纳维-斯托克斯方程的证明。Anthropic 发表了费马大定理的形式化，以及黎曼猜想的改进界。这些模型突然就擅长数学了。

我感兴趣的问题是：我们能否预测这些模型会解出哪类问题？是什么让一个问题对 LLM 来说可解，而这些解又有什么共同点？如果 AI 解题的方式与人类不同，找出这种差异应当能帮我们决定该把 AI 指向哪里。关于单位距离反证，相关评论最为丰富，所以我们就从那里开始。

问题复杂度

这里有一个简单的心智模型。要解决任何给定的问题，你需要一串提示或洞见，并在它们之间付出工作。这出人意料地既适用于简单的日常问题，也适用于广义相对论1这样的复杂概念（见附赠部分）。这个序列大致是这样的：

洞见 -> 时间 / 努力 -> 洞见 -> 时间 / 努力 -> 解。

专家需要的提示会比新手少，因为他们有更多背景知识。在关于单位距离证明的评论中，WT Gowers 使用了类似的想法：证明的难度，就是能让专家重建该证明的最短提示序列。他称之为模专家后的柯尔莫哥洛夫复杂度2。对于单位距离问题，他的提示序列包含三部分：

寻找一个反例。

取已知最佳构造并将其推广。

尝试一列次数递增的数域，但使用有界范数的素理想。

Gowers 提出的复杂度公式是 2^k + t，其中 k 是最短提示序列的长度，t 是发展它所需的工作量。这类公式看起来严谨得很，直到你试图往里面代入数字——而这差不多正是重点所在。复杂度会随着解决问题所需洞见数量的增加而呈指数增长。

大部分解题过程就是这些洞见之间的工作。你有了一个顿悟时刻，然后花几个月发展这个提示，直到下一次概念跳跃成为可能。对专家来说，所花时间是衡量这项工作的有用代理指标，因此有了 t。把第一个单位距离提示交给某人，他们仍然必须做足够多的工作才能到达那个推广构造。

有用，但只是事后分析。你无法看着问题就预测它需要 x 个提示。因此，问题的年龄、尝试次数以及附带的奖金，都是用来描述难度的常见代理指标。

给定提示的特征

一个典型的洞见会改变问题的表述方式。对问题的表示和理解都会改变。有两件事决定一个提示有多大价值：

在给出提示之前它看起来有多不可能，相对于给出提示之后它看起来有多显然 → 这比人们意识到的更难。在单位距离问题中，许多专家并不认为反例的可能性很大。

它在序列中的位置：提示是有顺序的。第三个提示只有在第一、第二个提示上的工作已经取得足够进展、使其可付诸行动之后才有用。这就挫败了那种天真的暴力思路：列出上千种数学技巧并尝试每一种组合3。提示序列遍历的是一棵树。最初的洞见会改变问题，并揭示后续的选择。

人类以广度优先的方式解题

把 k 和 t 结合起来，你就得到了人类的搜索模式。生成候选方向，浅层探索它们，放弃大多数，并投入少数几个。如果一个有希望的方向在早期没有给出足够的鼓励4，它就会被放弃。这是人类的一种约束：发展一个想法可能需要数月。在投入之前，研究者需要有理由相信它会通向某处：概念上的前景、早期结果，或对类似问题的经验。发现这一点所需的时间越长，尝试这个想法的门槛就越高。

大多数研究软件的存在，就是为了通过自动化那些乏味、机械、可重复的工作来缩短这段时间。AI 把它缩短得足够多，以至于搜索模式本身发生了翻转，而下游的一切都由此而来。

AI 与复杂度

首先是 t。模型相当于努力的东西是算力和 token，花在一条轨迹上（测试时计算），或分散在并行智能体之间（并行测试时计算）。预训练还提供了人类研究者必须自行查找或重建的知识。没有哪个专家了解此前的每一项进展，所以偶尔他们会重做已经做过的事情。

更大的差异在于模型如何搜索：

LLM 是深度优先的

给模型一个单一的提示，它就会给你一个解决方案。也许正确，也许不正确。要求它给出一个证明，它会给你一个接近优秀证明的东西。这些模型的 CoT 也以贪婪的深度优先方式运行。而且这个过程可以扩展。给并行智能体十个思路，你就会得到十个朝着结论发展的尝试。也许全都各不相同，也许有些相互重叠。每一个要么撞上障碍，要么产生一个看起来正确的论证。放任不管，你就会得到漂亮的假证明。

这看起来像是在浪费算力和资源，直到你加入一个自动验证器5，它可以剪枝已完成的轨迹并识别出正确的那些。有了这个检查器，在不确定的想法上投入巨大的算力就变得合理了。你可以在几分钟内弄清某个想法是否行得通。问题在于，验证器只能评判已完成的论证。它无法告诉你一个只开发了一半的想法是否有前途。

对比

如果你能在五分钟内弄清一个提示是否有效，那这个提示需要有多好？对人类来说，质量标准很高，因为追寻一个提示可能需要数月的工作。对模型来说，这个标准几乎消失了。提示可以是普通的、不合理的，或者几乎不成形的。跟随它就能确定它是否通向某处。LLM 让我们能够用时间换取算力，并帮助我们在更短的时间内处理更多问题。

失败的尝试对 LLM 来说就是提示

模型不需要一个确定的方向就能开始。预训练已经赋予了它关于问题历史和过往尝试的先验知识。每一个错误的解决方案都可以作为负向提示返回给模型，用于下一次迭代。系统会积累关于哪些已经失败以及为什么失败的指令。大致来说，一个执行框架看起来是这样的：

起草器：编写交给求解器模型的提示。这些提示基于模型的先验知识，缓解此前运行中的错误，并考虑到所有那些走不通的有希望的路径（这些是负向提示）。

求解器：接收提示并提出一个或多个候选解决方案。它可以运行多个子智能体，并使用并行测试时计算来追寻不同的路径。

验证器／检查器：检查论证是否有效，并确立所要求的结果。

例如，考虑这个 CDC 提示：

为本任务的目的，假设存在一个完整的肯定性证明。→ 这防止模型把在预训练中学到的问题的开放状态当作停止的理由。

具体而言，针对特殊图类的证明、某些边被覆盖次数不是两次的环覆盖构造、有界长度或指定环的变体、归约到另一个未证明的猜想、通过任何固定图规模进行的计算验证，以及没有完整不存在性证书的候选反例，都是不充分的 → 这排除了一系列对真正解决问题的替代品。

全程使用对抗性智能体：每个候选证明都必须检查是否恰好为二重数、伪装成环的重复边闭合迹、平行边 2-环、不连通图、割点、归约引入的桥，以及对等价 CDC 陈述的循环使用 → 将编目的失败模式提升为常设检查。

再加一行针对习得性懒惰6 的话：不要仅仅因为当前方法失败或智能体报告定理级别的缺口就返回

OpenAI 很可能进行了多轮尝试，起草器吸收了错误和失败的想法，并在下一次迭代中避开它们。这里的每一行都是一条失败路径，被写成了一条指令。

重构单位距离证明与 Tsimerman 的工作

让我们通过执行框架的视角重新解读 Gowers 的三条提示：

提示 1：寻找反例：这确实很难，因为学界和模型的预训练先验都认为该猜想为真。起草器最有可能得出这一提示，是因为求解器在追寻证明时不断失败。这种表述阻止模型把公认的观点当作它必须追寻的方向。每一次失败的尝试都让反例的可能性略微增加。

提示 2：取已知最佳构造并将其推广。这最接近学界的先验；这是标准做法。实质性的工作是把推广推进得足够远，以发现它允许什么。这就是大 t 步。但请注意，这是对一个几乎没人在寻找的反例的推广。

提示 3：尝试次数递增的数域。一旦前两条提示构建了它适用的空间，这就是标准工具。

顺序很重要。从提示三开始，你甚至不知道这道题是反证。跳过推广构造，提示三就无从作用。而且即使有了全部三条提示，工作量仍然巨大。反例提示事后看来显而易见，这让你纳闷为什么没人试过。事实上，有些人试过。

最近被 OpenAI 聘用的 Jacob Tsimerman 参与了这一反例的研究。他懂数论，甚至考虑过提高次数，然后他停了下来。寻找反例是第一个洞见，但这仍然只是开始。让他停下的不是能力不足，而是一种恰如其分的清醒感受——一个人深陷沼泽数周，却没有任何证据表明沼泽还有另一边。用他自己的话说：❝

“一种非常可怕的动态：很难在解析区域中思考并保持引导性直觉，耗费大量时间，而且经常行不通。”——Jacob Tsimerman，OpenAI 数学家

心理学早在几十年前就发现了问题求解中的这一人性面：Metcalfe 和 Wiebe 每隔十五秒询问解题者觉得自己离答案有多近，在普通问题7上，他们报告的进展感不断上升。而在顿悟类问题上，这种感觉一直持平，直到他们找到答案。他们报告没有任何进展感来支撑继续搜索。顿悟类问题没有梯度。在解出来之前，你不知道自己离答案有多近。Sponsored此处放置你的赞助广告触达正在构建下一代的 AI 工程师。

Latent Space 的读者正是那些交付智能体、模型和基础设施的人。咨询赞助此广告位：business@latent.space →

所以专家的问题有两层：究竟有没有人进入这个分支（即提示），以及进入之后，他们能否坚持足够久，让普通能力完成剩下的工作？坚持的代价是工作记忆、士气和职业生涯。而在一条所有已知专家都认为错误的路线上坚持，会让这三者叠加恶化。对 LLM 来说，这是一个巨大的优势。来自 Arul Shankar：

“模型很快就过了一遍各种想法，但当它到达关键想法时（在以‘乐观地假设……’开头的那一段），它相当有条不紊地聚焦于证明。”

它可以归结为两个问题：一个问题需要多少个洞见，以及在你能判断一个方向是否值得之前，这些洞见之间隔着多少工作量？Tsimerman 给出了 AI 这一侧的看法：

“这或许说明了 AI 系统拥有优势的一种方式：不仅在于它们能尝试所有已知方法，还在于它们能比数学家玩得更久、在更险恶的水域中前行，而不会不堪重负。当然，这一点目前还不完全可靠，但这可能是一个预示性事件。”

其他证明

OpenAI 对 Navier-Stokes 的证明展示了同样的过程。粗略阅读可知，它把 Córdoba 和 Martínez-Zoroa 所做的工作推进到了完成。该证明长达 166 页，包含许多修正和大量复杂数学，但就概念跳跃而言，它提供的并没有那么多。8 Anthropic 在费马和黎曼方面的工作附有丰富的评注，也显示出同样的骨架：数百个失败的想法、一个编排器下的多个智能体、随处可见的脚本和检查器。以及少数几个承担主要负载的概念飞跃。

今年模型发生了什么变化？

三项具体能力叠加起来，它们帮助推动了这些证明。

模型现在擅长串联原语。近期的训练目标侧重于在第 1 步创建可在长时程任务的第 n 步使用的产物。=> 这降低了 t。

自我验证：模型现在能在轨迹内、在人类甚至验证器看到输出之前，捕捉到错误的步骤（不是那些语法上有效但通向死路的步骤）。OpenAI 专门用大规模真实世界示例对模型进行数学验证训练，并配备了一个能识别证明中错误的验证层。=> 这使轨迹内的剪枝更便宜。

编排。模型可以指挥子智能体，使用记忆等框架能力来引导方向、消除错误路径，并在智能体之间进行协调。=> 负向提示就是这样积累起来的。

分支因子

重新审视 Gowers 的公式。他指出该公式遗漏了一件事：探索潜在提示树所需的时间。把每一步上合理的下一个提示数量称为分支因子 b。每一步有 b 个合理提示时，k 个提示意味着 b^k 条路径。对人类来说，品味和判断让有效 b 保持很小，大多数分支默认被丢弃。9

AI 必须在每个中间步骤追求几乎每一个合理分支，但这可以快速完成。这预测出：在 b^k × 计算成本（其中 k 是提示数量）较小的地方，模型会表现出色。这回答了我们开头的问题。网络安全看似复杂，却最先被攻克，因为中间步骤10 的分支因子约为 1-2。

专业人士需要大量技能，但解决方案是什么样子是事先已知的。这也解释了为什么寻找反例如此强大。它压缩了解空间和 b。同样的模式也体现在一项社区努力中：引导智能体去寻找所有开放问题的反例。

验证器剪掉已完成的分支。起草器剪掉未来的分支，通过告诉求解器哪些路径已经失败来收窄搜索空间。当处于中间时，你没有剪枝信号。自我验证捕捉的是错误的步骤，而不是那些语法正确却通向死路的步骤。没有梯度，你必须探索所有分支。Tsimerman 为此付出了士气代价，AI 公司则会付出算力代价。实验室会选择解空间狭窄的问题来展示其模型有效。11

由此可得一个直觉：当概念上的跨越已经完成，剩下的只是繁琐复杂的数学时，AI 模型会非常擅长把想法推进到完成。也就是说，在 k 和 b 都不至于大到无法承受的地方。最近发表的许多其他证明都符合这一点。纳维-斯托克斯的证明完成了 Córdoba 和 Martínez-Zoroa 的方案，而即便如此也动用了 10,000 个智能体，在 88 小时内总共使用了 3000 亿个 token。

如果说人类在任何地方还保有优势，Gowers 预计那会是在“搜索树很深且分支数量很大，以至于没有严格剪枝，即使是计算机也无法完成搜索”的问题上。换句话说，就是高 b 和/或高 k、人类直觉仍然重要的地方。

一个有趣的分歧

人类会仔细选择自己的方法，然后花上几个月。一个失败的方法之所以富有洞见，恰恰是因为有人足够确信，愿意在它上面花几个月。一个被专家断然拒绝的方法也是如此。拒绝伴随着他们的判断和洞见。无论哪种情况，追随一个想法都会改变我们对问题的理解。即便是死胡同，也能给专家留下有用的思考工具。

有了 AI，解决方案之所以出现，是因为模型把每一条看似可行的路径都推进到完成。失败的代价很低。其中大多数是幼稚的，有些可能很有趣。失败中所含的信息量，与背后的确信程度成正比。不过我们很少有机会看到它们，更不用说理解某次尝试为何失败。CDC 提示词大概是我们最接近的一次，它把一份所有失败的清单直接放进了提示词里。

这种分歧有助于形成一种良性的互补。人类擅长缩小分支。模型擅长缩短剪掉一个分支所需的时间。专家可以让模型把一个想法从头到尾探索一遍，然后再决定它是否值得花三个月。需要大量洞见的问题，也就是 k 很大的问题，对两者来说都很难。专家可以利用模型的失败尝试以及自己形成确信的过程来缩小范围。

尽管如此，许多开放问题之所以被提出，是因为解决它们能增进我们对这一领域的理解。其中一部分来自直接攻克问题，另一部分来自了解那些高确信度的方法为何失败。模型最终可以生成证明。12 失败中的许多洞见。只有当我们能看到它们时，这种互补才成立。

陶哲轩把解决问题描述为数学更深层目的的代理：发展我们的理解。一个结果或一个证明是一场社区事件，它让人们去解释新想法、把它们与已有的想法联系起来，并推动我们集体的直觉向前。只宣布最终的解，是把目的地误当成了旅程。

附加：LLM 能提出广义相对论吗？

有人提出（又是 Demis，还有 Zahavy、Adam Brown），检验 AI 是否跨过门槛的一个测试是：用截至 1901 年的数据训练一个模型，看它能否提出广义相对论。我现在认为，如果研究人员在这件事上搞古德哈特式指标，那会很快。这个跨越并不需要很多提示。

第一个有效的提示是把引力当作几何来处理，这就足以把解空间缩小到足够小。此后的数学极其困难，而这恰恰是模型擅长的地方。这个提示极其反直觉，我认为思维链只有在穷尽其他一切之后才会落到它上面。试试把引力当作一种力、当作平直空间中的场、当作对牛顿平方反比定律的微调。每一次尝试都会与 1901 年已知的某个事实相矛盾，其中最著名的是水星近日点。

每一次失败都让几何稍微更有可能。它可能会提出数百个看似合理的理论，但我们会验证这一个，然后说：“对，它做到了。”

1 爱因斯坦在 1907 年有了他所谓的“一生中最快乐的想法”：一个从屋顶坠落的人不会感觉到自己的重量。然后他又花了八年时间，并在一位真正懂几何的朋友的大力帮助下，才把它变成方程。这就是两个洞见之间的箭头的样子。广义相对论需要两到三个主要洞见。第一个是：把引力当作几何。爱因斯坦与它相伴多年，把它向前推进，然后在大约八年后得到了最终的理论。问题在于，当时所有人都认为牛顿定律神圣不可侵犯，所以要说牛顿错了，需要巨大的确信和信念。C.P. 斯诺曾说，狭义相对论“是一个等待发生的想法。但广义相对论则完全是另一回事。”这就是一个平淡无奇的提示和一个非常令人惊讶的提示之间的区别。

2 柯尔莫哥洛夫复杂度要求给出能产生给定输出的最短程序；在这里，专家提供了背景知识。

3 这比宇宙中的原子数量还要多的排列组合，也远远多于愿意埋头苦干的博士生人数。

4 这也是为什么不同的人类文化都非常强调坚持。如果齐默尔曼再多坚持一点，他本可以解决这个问题。无意冒犯，但在文章后面，他解释了自己在如此接近答案时的感受。题外话：在一个人最多产的十年里，一个研究者对某个想法大概会下二十次认真的赌注，而大多数人都很希望其中有一个能成功。

5 我有一个理论：无限只猴子在无限台打字机上可以打出莎士比亚和许多其他小说，外加一些原创作品。但是，要知道它们是否做到了，你需要一个验证器。而这个验证器很可能也会拒绝掉它们同时完成的所有原创作品。道格拉斯·亚当斯对此有一句话：“福特，外面有无限只猴子，它们想和我们谈谈它们写出来的《哈姆雷特》剧本。”

6 不得不对一台机器写下这样的话——本质上就是一句“不，真的，继续”——是件很奇怪的事，而更奇怪的是它居然管用。

7 我不认为每 15 秒问一次起了作用。即使我觉得自己已经很接近了，我也会说不。

8 这显然是一个早期的结论，但我没有看到关于那些概念跳跃的丰富评论。

9 和许多事情一样，品味和判断来自先验。而先验可能是错的。正如我们在单位距离反例本身中看到的那样。在高尔斯自己的叙述中，“我从未想过要去证伪它。”这个先验把正确的分支推向了低概率，而许多专家没有选择那条路。

10 文献中已经存在一条利用链。模型只需要填空即可。

11 或者谁知道呢，他们可能会发布一个模型，花了四百亿美元才发现一个问题很难，而且有太多方法解不出来，于是退而求其次接受另一个结果。

12 道格拉斯·亚当斯早就预言了这一点。“我非常彻底地检查过了，”计算机说，“那确实就是答案。老实说，我认为问题在于，你其实从来都不知道问题是什么。”感谢阅读

保持领先一点点。