数学领域遭遇的雪崩即将降临 AI 研发:Dwarkesh Patel 为何预计 2030 年前实现超级智能
The avalanche that hit math is coming for AI development
Dwarkesh Patel 更新判断:距离出现与顶尖人类 AI 研究员同等水平的 AI 只剩几年、甚至可能几个月,并预计 2030 年前(最早明年)出现各领域都不逊于顶尖人类专家的 AI。他援引 METR 在 Anthropic 内部三个月的评估称其任务推进速度已达一年前的 2 倍,且大部分加速来自 Anthropic 用 AI 做研发;Anthropic 称 Claude 已“主导”其 26% 以上的 AI 研发工作,而 2 月时不足 1%。
正文 · AI 翻译
博客:冲击数学领域的雪崩即将降临 AI 研发
为什么我现在预计到 2030 年就会出现超级智能Dwarkesh Patel2026 年 11 月 13 日
非常感谢 Max Farrens、Gabe Fried 和 Thomas Larsen 在我撰写和研究这篇文章的重要阶段与我搭档合作。
你可以在 YouTube、Spotify 和 Apple Podcasts 上观看或收听我朗读这篇文章。
如果你在今年早些时候问我,我们距离超级智能还有多远,我大概会说至少还要大半个十年。但在过去三个月里,我的看法发生了巨大变化。我一直在播客内外与人辩论这个问题。我也一直在观察 AI 在可验证领域中的进展,并思考这对 AI 研究本身意味着什么。
我现在认为,距离出现与最优秀人类 AI 研究员同等水平的 AI,只剩几年,甚至可能只剩几个月。我还相信,自动化 AI 研究将把如此多的进展压缩到一年之内,以至于此后不久(也就是到 2030 年,但最早可能就在明年),我们就会拥有在每个领域都至少与最优秀人类专家同等水平的 AI。我知道这是一个惊人的说法,而且就在几个月前,我自己也不相信。让我带你梳理一下我的想法是如何改变的。
在我们进入更具推测性的论证之前,我想指出,我们有大量证据表明,AI 已经在极大地加速前沿 AI 的进一步进展。
例如,独立评估组织 METR 在 Anthropic 内部驻留三个月后得出结论:Anthropic 在范围明确的任务上的总体进展速度是一年前的两倍,而且“如今这种加速的大部分很可能归因于 Anthropic 大量使用 AI 来做研发”。
OpenAI 在 9 月发布了一篇博客文章,其中显示,OpenAI 研究人员中 AI 使用量最高的 10% 人群,从夏初每天使用约 1,000 美元的内部编码智能体,到 8 月底已增至每天超过 7,000 美元。
9 月,Anthropic 也发布了一篇关于自身 AI 提升效果的类似文章。他们报告称,截至 8 月,Claude“主导”了 Anthropic 超过 26% 的 AI 研发工作——而就在 2 月时这一比例还不到 1%。1
数学是 AI 研究未来走向的预演
当我思考如果 AI 实现 AI 研究自动化会有多重大、以及这可能会多快发生时,对我来说一个非常重要的更新,就是亲眼看到 AI 在数学领域的能力爆炸式增长。当前的 AI 正像热刀切黄油一样切开数学中范围明确的问题。仅仅两年前,我还问过 Dario,为什么 LLM 无法利用它们在如此多不同领域中的广博知识来连接不同想法并做出新发现。而你看,现在我们到了这一步:在一个像数学这样完全可验证的领域中,AI 正在如此大规模地进行这种搜索与匹配式发现,以至于数百项重要成果(世界顶尖数学家和计算机科学家花了几十年试图解决)正作为为未来模型发布造势的支线任务被批量产出。
我们从 2023 年的“这个模型无法可靠地把四位数相加”,到 2024 年的“这个模型几乎解不出高中数学竞赛中的任何题目”,到 2025 年的“哦,它能在国际数学奥林匹克竞赛中赢得金牌”,再到今年早些时候的“哇,它在解决未解决的 Erdős 问题,但也许只是因为还没有人尝试解决这些特定问题,而且文献中已经有类似的解法”,再到大约一个月前的“好吧,它他妈地在 88 小时内解决了一个千禧年大奖难题”,这速度快得离谱。
小说《伊甸之东》中有一句话:“关于神的坠落有一件事是确定的:他们不会只坠落一点;他们会轰然崩裂。”
确实,进展不成比例地偏向数学中依赖验证的部分,比如寻找反例(而不是提出新理论之类)。Toby Ord 最近就此写了一篇很好的文章。他写道:“虽然当前的 AI 系统正开始自动化数学证明,但目前几乎没有证据表明它们能提出有力的问题,或找到深刻的新数学研究领域。”
但换一种方式表达同一观点就是:当前的 AI 系统已经解决了一个千禧年大奖难题,而这一切都是在它们尚不能提出有力问题或找到深刻的新数学研究领域的情况下完成的。
而这种解决范围明确问题的能力,对机器学习研究而言将比广义上的数学更为重要。这是因为数学研究的目标不只是证明或证伪一长串猜想,而是拓展人类对数学概念的理解。提出拓扑学、群论或笛卡尔网格这样的想法,远比确切知道能用 n 个点组成多少对相距一个单位的点对重要得多。我们关心这类深奥问题,主要是因为它们可能催生新的数学理论。
但在 AI 研究中,优先级恰好相反。AI 实验室主要关心的是任何新的算法配方如何在实证上让训练更高效或催生更聪明的模型。他们并不关心理论本身,而过去十五年里我们在深度学习上取得的所有进展本来也并不需要多少新理论。在机器学习中,反复钻研随机猜想的等价做法会具有巨大价值,而在数学中则并非如此。
AI 研究实际上与当前 AI 格外擅长的那类数学进展惊人地相似:通过结合惊人的坚持和一种超人的能力——把来自许多相邻领域的想法连接起来——来解锁大量唾手可得的成果。
例如,让我们谈谈 transformer 架构。我的朋友、AI 研究员 Sholto Douglas 有一篇常年半途而废的博客文章,他在文中解释了你可以如何比人们实际做到的时间早两年发明 transformer。也许这篇文章会让他不再拖延、把它写完,但在此期间,我先简要总结一下我和他就那篇文章内容进行的一些讨论。
在 transformer 论文于 2017 年发表之前,许多研究者已经认识到注意力是一种更好地并行化训练、并在更长序列之间传递信息的方式。当时仍在活跃研究的 Chris Olah 曾说:“当时,我的感觉是,transformer 架构是许多各自独立有效的想法(注意力、残差网络)的自然组合,只是被推到了相当激进的长度。”换句话说,对当时在该领域工作的研究者来说,这些核心部件没有一个是意外。
那么,为什么人们没有更早发明 transformer 呢?一个原因是,只有当你把另外半打调整和创新连接起来之后,这种新架构才明显优于当时的最先进水平。尽管所有这些都已在文献中存在多年,2 却没有人知道如何把这些拼图碎片组合起来。做到这一点当然需要研究品味,但也需要大量大量的小实验。
但我上面刚刚描述的——持续而聪明地匹配数十种不同的想法组合——正是 AI 在数学贡献中展现出格外擅长的那类能力。
这一切是说,即便是 transformer——它可以说是自 2012 年 AlexNet 掀起深度学习革命以来 ML 领域最大的突破——也是 Claude 7 在 Chris Olah 要求它努力让这个注意力机制运作得更好时能够发明出来的东西。
我想澄清的是,AI 研究的某些部分实际上比数学更难验证。这就是为什么 OpenAI 尽管拥有一个能自主解决千禧年大奖难题的模型,却还没有解雇它所有的研究员。但我认为 AI 研究的可验证性足够高,AI 很快就会在这方面和最优秀的人类一样出色。解释原因需要深入 AI 研究实际运作的细节,而这些细节虽然有趣但偏技术性,我把它们留到了附录——如果你好奇,就在结论之后继续读下去。但在此期间,我先给出我对我们何时到达那一步的估计。
如果我必须选出自动化研究者与最顶尖人类 AI 研究者一样出色的中位年份(并假设实验室不会故意放慢速度),我猜是 2028 年。
为什么我认为 AI 能在两年内达到这种水平?在每一个我们能检查答案、并给 AI 数千轮练习的领域——例如竞技编程比赛,或范围明确的开放数学问题——它们都在几年内从比大多数人类差变成比最优秀的人类更好。正如我上面所论证的,AI 研究也具有同样的可验证特性。
当然,像伊利亚·苏茨克维这样的顶尖AI研究员之所以如此出色,很大一部分原因无法直接验证——例如,他能否提前数年押注正确的研究方向。但正如我们在数学领域所见,模型的泛化能力远远超出它们直接接受训练的范围。OpenAI的模型显然不是通过解决其他千禧年大奖难题来训练的。它是在大量不那么宏大、更易处理的数学问题上训练的,并由此一路泛化,直到能解决一个人类从未攻克的问题。我预计AI研究领域也会如此:数千轮可验证研究任务的练习,加上每一代新模型总体上都比上一代更聪明,将使模型即便在我们无法直接核查的AI研究环节也表现出色。
我想明确一点:这一里程碑有相当大的概率会来得更晚,因为AI研究的某些重要部分仍然难以自动化。我猜有25%的概率要到2032年之后才会实现。3但我也认为事情可能进展得快得多,我们可能在2027年就达到这一里程碑。我认识的一些消息最灵通的研究者——过去几年预测记录非常好的人——预计AI最早明年就能在AI研究上击败最优秀的人类。而2027年也正是把METR的发现——Anthropic的AI进展速度在一年内翻了一番——代入起飞模型后直接得出的推论。
正如前嘉宾阿杰亚·科特拉在一篇关于这份报告的博客文章中所说:
如果我们按字面接受AI如今几乎使AI能力进展速度翻倍这一说法,并假设来自AI的加速是平滑的,这朴素地意味着我们将在一年内达到极端的超级智能。
我的中位数之所以没那么早,是因为我不确定这种直接建模有多准确。但如果明年就达到这一里程碑,我们不应感到意外,而且我们应该为这样的世界做好准备。
自动化最优秀的研究者将大幅加速AI进展
一旦AI在AI研究上达到最优秀人类的水平,算法进展将急剧加快。有三个重要原因:自动化研究者会快得多,每一个都会非常聪明,而且数量会多得多。
更快
如今的AI已经以大约人类10倍的速度工作。4而自动化研究者还会全天候工作,包括夜间和周末。因此,每个单独的自动化研究者每个日历周塞进的工作量大约是人类研究者的50倍。
当然,这并不意味着AI进展会立刻加速50倍。这些自动化研究者仍会受限于实验所需的算力,而算力并不会跑得更快。所以会出现收益递减。但即便收益递减极其陡峭,仅此一点就会使算法进展比目前快许多倍。5
更聪明
而这还没有考虑到:在这种情景下,每个自动化研究者在AI研发上至少和最优秀的人类一样出色。
我的感觉是,某家前沿实验室约80%的算法进展由其排名前50的研究者推动。扎克伯格愿意花数亿美元收购业内最优秀的人才,并非无缘无故。因此,由于这家自动化公司里的每一位工程师和研究者都将达到当今前沿AI实验室中最优秀人类的水平,算法进展又会获得一次大幅提速。
把更多工作者投入一个问题并不总是有帮助。例如,一群智能体大概无法比单个智能体更快地写出伟大的小说。但其他任务适合并行化:例如,看下面的动画,展示了一群不同的Claude协作形式化费马大定理。这一壮举包含数千个模块化子任务,每个子任务都可以独立完成,且每个智能体都能在本地检查自己的工作是否成功。
AI研究更接近于形式化一个定理,而不是写小说,因为其中有大量独立的模块化工作要做,而且有可验证的进展代理指标。这意味着,一群智能体可以尝试一千种不同方法并看哪种表现最好,而且它们可以针对流水线的每个不同部分独立地这样做。AI公司已经由数十个团队组成,各自独立从事模型开发的不同部分:一个团队改进预训练数据的过滤方式,另一个帮助设计某种特定的合成RL环境,还有一个编写更好的注意力内核,等等。在这类不同工作流可以独立完成并检查的领域,投入大量持续爬山智能体往往会大幅加速进展。
同样,仅仅增加更多并行研究者也会带来急剧递减的回报。任何曾在团队中工作过的人都知道,拥有10万名合作者并不意味着你的速度快了10万倍——甚至可能连100倍都不到。但要说拥有数量级更多的自动化劳动力,你的速度却连几倍都提升不了,这实在难以令人信服。
我们可能迎来奇点,也可能只是一点火花
因此,更快、更聪明、数量更多的自动化研究者相结合,将大幅加速AI进展。但这种节奏会持续下去吗?会变得更快,还是会放缓?这个问题甚至比初始节奏究竟如何更重要。
这里涉及两种相互竞争的趋势。而后续的进展速度将取决于哪一种趋势最终更强大。一方面,由于RSI,自动化研究者会不断变得更快、更聪明、数量更充足。另一方面,AI研究会变得越来越难,因为所有容易的想法都会被这群自动化研究者蚕食殆尽。
顺便说一句,“想法越来越难找”这件事其实已经在发生了。AI公司每年都必须将研发算力翻两番、员工人数翻一番,才能维持同样的进展速度。
如果AI变聪明的速度快于想法变难找的速度,那么我们就会得到所谓的“纯软件奇点”。在这种情景下,即使不增加算力,AI群体也会迅速制造出越来越聪明的自身版本,直到在短短几个月内,我们最终得到一个逼近当前芯片物理极限的超级智能。
但如果想法变难找的速度快于RSI让AI更擅长研究的速度,我们最终会得到我称之为“火花”的局面。我们会在一年内取得大约三到六年的AI进展。6 然后事情会平息下来,直到我们建成更多算力,因为即便是超级天才的自动化研究者,也需要运行更大规模的实验才能取得进一步突破。
如果非要我下判断,我会给“火花”情景50%的概率,给“纯软件奇点”50%的概率。
不过要说清楚,即便是“火花”情景——即在自动化AI研究后的第一年取得大约四年的进展——也会让人觉得疯狂。那相当于在短短12个月内从GPT-3.5跃升到GPT-6 Astra,跨度之大令人咋舌。提醒一下这一跃升所压缩的进展规模:GPT-3.5能写出一首还算过得去的打油诗,能自动补全一个简单的Python函数,但基本上是个没用的玩具;而Astra能从零开始构建完整的电子游戏,还能产出足以获得菲尔兹奖的数学贡献,其程度之深已经让我们麻木了。
在过去四年里,我们从幼儿园水平走到了神童实习生。如果你再做出一次同样大的跃升,但起点是2027年或2028年,你大概会得到一个在哪怕稍微可验证的领域都远超人类的头脑。例如,它在设计下一代AI加速器方面会比英伟达更出色。它会比Citadel和Jane Street目前的人类版本赚更多钱(如果它能平等地进入市场)。如果你给它远程访问材料科学实验实验室的权限,它在寻找室温超导体方面会比全人类都更强。
超级智能将是一个极其出色的元学习者
那么,到了这一步,你可能会问:即便是一个在数据中心内训练出来的超级智能,又如何在那些人类专业知识建立在多年现实世界经验之上的领域击败人类专家呢?
我们目前让AI变聪明的方式,是通过强化学习(RL)训练它们完成那些可以在数据中心内自动评分的任务:AI写出的百万行新代码能通过单元测试吗?AI解决了更多开放数学问题吗?但当然,世界的大部分并不是这样的。我在最近的一篇文章中提出了这一点:
我们该如何训练一个AI去建立一家企业?你该如何让一个AI真正擅长打赢官司?或者在市场上做日内交易并盈利?或者帮助一位候选人赢得选举?这些任务的展开需要与世界互动,无法简单地在数据中心内重现。
那么超级智能将如何擅长这类事情呢?让我说清楚:我不认为我们可以把每个现实世界问题的答案直接烘焙进权重里。相反,我的主张是,扩大RL训练规模将赋予AI必要的能力,使其能在新情境中快速提升,即便是在上述那些难以验证的领域也是如此。
真正擅长任何复杂任务都需要两样东西。一是领域特定知识。另一套更通用的技能——有能力的人类所具备的那种——比如能够寻找相关信息、制定计划、在错误和障碍中推进计划、记录所学到的内容,以及与他人协作。
在RSI期间,自动化工程师将构建出比我们目前拥有的多出数万倍的RL训练环境。这些环境将比今天的环境运行时间更长、质量更高、更加开放,覆盖范围也广泛得多。
这些AI将学会在数量多到无法想象的虚拟世界中闯荡,而每一个这样的世界之于今天的电子游戏,就如同布加迪之于马车。这些游戏将远比任何为人类娱乐而制作的东西都更困难、更混乱、更庞杂、更逼真。它们将要求AI在漫长的时间里与其他AI团队合作或竞争。例如,一个AI将被投放到一个繁荣的模拟数字经济中,那里有数百万其他AI,并被要求共同创办一家成功的公司。而且这个AI不会只是停留在思考理想的公司结构上……它将经历一个演化过程,其中包含数百年的企业竞争,以找出最优的组织技术。
这些AI还将通过对科学、技术、政治和文化史上一切事物进行无休止的回溯测试来训练自己——它们必须预测曾经发生过的每一项发现、发明、战争、选举和季度财报。这里有一个预测训练任务:如果给一个AI的训练语料库只包含1700年之前的信息——这远远早于任何人类有望发现广义相对论的年代——它能推导出广义相对论吗?另一个例子:给定直到1962年的每一篇报纸文章,这个AI能预测古巴导弹危机将如何发展吗?7
而且,这些自动化研究者要改进的不仅仅是训练数据。他们还将通过在线学习和样本效率方面的突破,从根本上改进基础学习算法本身(这两者都有可验证的代理指标,正如我在附录中讨论的那样)。正如人类从数据中学习比当前的大语言模型更高效、更有效一样,未来的AI在学习效率上可能远远超越人类。
为什么我认为我们会看到大量从可验证任务到这些更通用技能的迁移?一个原因是,即便在智能爆炸期间将发生的RL训练规模的万分之一,我们已经看到了大量泛化。如果你把Claude Code或Codex指向一个它从未见过的项目,它知道如何定位自己、弄清楚各部分如何组合在一起,然后着手一项雄心勃勃的任务。
当然,很难衡量模型在不易验证的任务上进步了多少,因为如果我们能衡量……那些任务就会是可验证的。但你可以去和一个新模型聊聊,把它和一个旧模型比较。根据我的经验,AI在与代码或数学几乎无关的事情上已经变得好多了——例如,帮助我研究我写这篇文章所需回答的抽象问题。8
迁移的另一个重要证据是人类演化。我们的通用心智架构是由演化发展出来的,而演化是一个优化过程,其验证器非常粗糙:你的基因传下去了没有?在祖先环境中,影响这一结果的任务是诸如狩猎、抵御捕食者、维持你在部落中的地位之类的事情。
这些只是人类今天能够处理的任务类型中极小的一部分。演化并没有专门优化我们去写一部获得普利策奖的传记,或制造先进半导体,或领导数百万人的国家,或提出一个新的数学分支。但是,在优化我们在稀树草原上生存的过程中,演化构建出了一个通用学习者。
在训练这些AI时,我们正在运行一个类似的过程,只不过我们是有意为之,而且任务与当今世界取得成功所需的任务更密切相关。与演化不同的是,AI公司正试图在训练过程中改善迁移(例如,确保在训练中被留出的困难任务上的表现有所提升)。如果连愚蠢、盲目的演化都能从构建一个能在稀树草原上有效自我传播的心智中获得这么多迁移,那么AI公司为构建一个灵活、通用、能在任何新情境中迅速提升的智能而付出的刻意努力,应该能走得更远。
现在,即便是超级智能学习者也无法在数据中心内部弄清楚一切。所以即便是这些AI也需要一些现实世界的经验。但我认为它们获得这些经验的速度会比人们预期的快得多,而且它们在被部署后的几个月内就会击败顶尖人类专家。
老实说,指导我对这一切的直觉的一件事是,我有很多二十多岁的朋友,我眼看着他们在自己毫无先前经验的领域里取得了不可思议的成就,建立了世界领先的公司和事业。
历史上充满了能力超群的年轻人,他们在自己被投放进去的世界里把别人远远甩在身后。到27岁时,拿破仑已经对欧洲其他列强规模大得多的军队取得了一场又一场胜利。到25岁时,也就是他进入石油行业仅两年后,洛克菲勒已经在经营世界上最大的炼油厂之一。
洛克菲勒和拿破仑确实需要经验,没错,但只需要几年的经验,而不是几十年。无论这些人的大脑里发生了什么,AI 都应该能够复制(甚至超越:没有理由认为人类是从经验中快速学习的上限)。
此外,与拿破仑或洛克菲勒不同,AI 可以在短短几周的日历时间内积累数年的部署情境。例如,假设你想让这些未来 AI 中的某一个比其现任 CEO 更好地经营一家财富 500 强公司。它能多快上手?好吧,如果你让它跟随那位 CEO,在第一个上午,它就能读取该公司有史以来产生的每一封电子邮件、Slack 消息和文档。到第一天结束时,它的并行副本可以已经采访了每一位员工和主要客户,并累计完成了单个人类需要数月才能完成的工作量,然后再合并回一起。显然,有些反馈——比如你的行为如何影响了季度收益——需要数月的串行时间。但即使承认这一点,我们也应该预期这些未来 AI 在部署后的几个月内,就能在几乎所有领域达到顶尖人类水平。在中位情景下,那仍然是 2028 年或 2029 年。
并且记住,即使在火花情景中,这一切也仅仅发生在 AI 研究完全自动化后的头一两年内。事情不会就此停止。因为即使软件进展逐渐停滞,AI 也会通过帮助增加更多算力来继续添柴加火。即使没有 AI 的帮助,全球 AI 算力也一直以每年约 3 倍的速度增长。而从火花中诞生的 AI 将在帮助我们继续扩大算力方面具有参差不齐的超人能力。它们会极其擅长设计 AI 芯片、规划新晶圆厂的布局,甚至远程操作机器人来帮助建造晶圆厂和数据中心的部分设施。
所以在火花情景中,AI 能力会继续提升,但由于其进步是由建造更多芯片、数据中心和机器人驱动的,要达到纯软件奇点本可在几个月内实现的同一终点——一个对我们而言就像我们之于黑猩猩那样的超级智能——需要数年时间。
在下一篇文章中,我将详细阐述我预期这些心智会是什么样子,以及我预期它们将如何改变世界。附录
前面我承诺过要解释为什么我认为 AI 研究在很大程度上是可验证的——所以我就从这里开始。之后,我将逐一讨论我认为对关于 RSI 的论点最有力的反对意见。
AI 研发在很大程度上是可验证的
样本效率与在线学习
我想在最开头特别指出一点:由于预训练和后训练是可验证的(如下文所述),因此在 AI 相对于人类最令人恼火且最重要的缺陷上的进展也是可验证的:即它们缺乏样本效率。如果你想让神经网络获得某种能力,你必须向它输入比人类学习同样内容所需多得多的数据。
但每一种样本效率都是可测量的。你可以测量达到给定预训练损失需要多少数据,在 RL 环境中达到给定分数需要多少个任务,甚至仅通过上下文学习在单次会话中达到期望性能水平需要多少反馈和时间。
样本效率和在线学习实际上是同一个问题的两面:如何快速高效地从真实世界数据中学习。几十年来,人们一直认为这是机器学习中最深层的未解问题——相当于 AI 的千禧年大奖难题。而数学已经向我们展示了这类问题会发生什么,即使它们非常困难,只要它们是可验证的。
AI 研发有许多可验证的代理指标
好,为什么我认为样本效率、在线学习以及机器学习中其他问题的进展是可验证的?嗯,AI 研发大致可分为三大类:预训练、后训练和推理效率。如下文所述,每一类都有强大的可验证代理指标,易于据此训练。而由于它们共同构成了全部算法进展,这意味着 AI 的整体进展易于据此训练,从某种意义上说,这并不令人意外。我们可以让模型在数据中心内可测试的事情上变得好得多。而 AI 训练实际上就发生在数据中心内。
请记住,这种可验证性之所以有价值,有两个原因。第一,它允许 AI 公司通过数千轮练习对模型进行 RL,使其在 AI 研究的某个特定部分变得更好。第二,这些代理指标使智能体更容易并行工作,因为它们可以在合并贡献之前,在本地检查自己是否击败了某个特定的排行榜。
预训练
在你构建 GPT-7 的过程中,你可以对它进行 RL,让它更擅长寻找预训练算力倍增器。例如,你可以设定一个 RL 目标:GPT-7 必须最小化它训练一个 GPT-2 规模模型达到固定预训练损失所需的算力。9
而一旦 GPT-7 建成,你可以部署一群智能体,让它们想办法把一个 GPT-3 规模的模型训练到尽可能低的困惑度。在留出测试集上的损失——这是预训练进展的基础——极其容易验证。10
当然,在小规模上有效的方法未必在大规模上有效。而且需要有品味,才能预判哪些有前景的小规模改进在组合进更大的模型后真正会结出果实。但这种直觉也是可以训练的——例如,你可以构建一个 RL 环境,让 GPT-7 必须预测在 1 亿参数规模上做出的算法改进在 100 亿参数规模上是否依然成立。虽然这个“品味基准”环境比 nanoGPT 速通更难进行 RL,但如果你拥有前沿实验室规模的算力,训练它仍然不算太难。所以即便是研究品味的重要部分也是可验证的。
仅靠自动化预训练,你就能大幅加速 AI 进展。这有三个重要原因:
第一,预训练会带来模型智能和能力上非常通用的提升。对此有一个深刻的解释,与压缩和智能之间的联系有关,如果你想了解更多,应该看看 3Blue1Brown 的这个精彩视频。
第二,随着你在预训练上取得改进,你可以训练出越来越小的模型,它与之前更大的模型一样好,但训练更快、成本更低。这不仅加速了预训练,还使你在该基础模型之上进行的实验和 RL rollout 更加高效。11 而且由于你的自动化研究者也是这个如今更小的模型的实例,你现在还能支撑更大的研究者群体。
第三,因为更小的模型训练更快,这会收紧 RSI 循环本身。在 RSI 期间,实验室大概不会进行横跨多个数据中心园区、为期三个月的预训练运行。自动化研究者大军会发现算法创新如此之快,以至于当一次巨型运行完成时,它早已被一个一周前才开始训练的、小得多的模型所淘汰。这类似于:如果你用今天的技术向半人马座阿尔法星发射一艘飞船,它在途中很可能会被一百年后发射的另一艘飞船超越。此外,由于你训练更小的模型更快,在每天可以运行数千次实验的规模上,你就不必赌小规模结果在更大的模型中依然成立。你已经在你正在训练的规模上测试过了。
即便在今天的参数规模下,基础模型还能变得多好?我认为还有巨大的潜力。我们远未达到预训练的极限。AI 实验室 Magic 最近宣布,他们预训练了一个模型,其性能与当今领先的开源基础模型(如 DeepSeek V4 Pro)相当,而所用算力仅为训练原始 GPT-3 所用算力的一半(按今天的价格约 50 万美元)。数量级的进一步提升似乎完全可信。
后训练
以下是后训练的三个不同的可验证代理指标:
第一,你的自动化研究者可以尝试改进你的后训练算法,使得当你想在一组新环境上进行 RL 时,所需的算力、数据或时间更少(这些都很容易测量)。
第二,你的自动化研究者可以致力于让模型更擅长即时学习。而你可以轻松衡量这方面的进展。例如,如果你把模型投入一个它从未训练过的环境,它多快能学会正在发生什么并想出如何获得好分数?它多快能在一个它从未玩过的电子游戏中变得更强?你也可以设置更多衡量这种元学习的真实世界任务。可以看看字节跳动的 EdgeBench,了解此类任务的例子。12
第三,你也可以直接衡量 AI 研发能力。Anthropic 有一个名为 CoBench 的内部基准,其中包含约 500 个其研究人员和工程师今年解决的真实问题。每个基准也是一个 RL 环境,而像这样的 RL 环境将允许 Anthropic 让其模型练习重做人类前沿进展中过去三到六个月的工作。
推理效率
AI 研发的另一个重要部分是设计模型及周边软件,以便从你的算力中榨取更多效能。这尤其可验证。你可以轻松测量 GPU 利用率、每 token 的 KV 缓存大小、前向传播的总 FLOPs、延迟等。
对 RSI 的反对意见
现在我想处理针对我关于 RSI 的论点最有力的反对意见。
我想明确一点:这些瓶颈是严重的,它们确实压低了最激进的可能起飞情景的概率。这就是为什么我认为我们会在 2028 年实现 GPT-3.5 到 GPT-6 规模的跃升(而不是明天就开始的某种疯狂的隔夜奇点)。
但我认为这些瓶颈并不能完全消解这个未来的疯狂程度(而且瓶口其实相当宽)。让我解释一下原因。
被持续学习卡住了吗?
过去一年半里,我一直主张,当今 AI 缺失的主要能力是从在职经验中改进的能力。每一次新会话都是它们上班的第一天。而在每次会话中,它们只能保留几个小时的信息量,因此无法积累数周或数月里到来的反馈或诀窍。去年十二月,这是我怀疑我们短期内无法自动化 AI 研究的主要原因。正如我当时所写:
这个自动化研究者不知怎么地要找出 AGI 的算法——一个人类近一个世纪以来一直撞墙的问题——却又不具备儿童拥有的基本学习能力?我觉得这极其难以置信。
以下是我认为当前缺乏持续学习不会阻止到 2028 年实现最优秀 AI 研究者的完全自动化的原因。
第一,到那时 AI 公司可能就用与现有架构非常相似的架构解决了持续学习。此前,我认为我们受制于某种疯狂的突破,让模型能在每次会话结束时更新自己的权重。但现在我认为,扩大上下文学习规模,使会话实际上长达数月,很可能就足以让单个实例有效地在职学习。而且有许多许多有前景的想法,可能让实验室实现大幅更长的有效上下文窗口。13
第二,你可能不需要一个持续学习者来解决持续学习。正如我上面解释的,在线学习是一个具有清晰可验证代理指标的 ML 研究问题。如果你两年前问我,纳维-斯托克斯方程和持续学习哪个更难解决,我不会明显觉得答案是纳维-斯托克斯。事实证明持续学习更难,因为实验室至今还没攻克它。但你是否如此确信它难得多,以至于比当前解决千禧年大奖难题的模型聪明一两年的非在线学习模型无法攻克它,即使它们像当前模型一样失忆?
这些模型在解决千禧年大奖难题的同时,仍然是些没有长期记忆的笨拙天才实习生。这就像看着某人一边侧手翻一边沿跑道前进,却仍能跟上尤塞恩·博尔特。如果允许他们真正奔跑,我确信他们会跑得更快。但谁又能说他们不能一边侧手翻一边赢下这场比赛呢?
话虽如此,我认为我们未来几年内不解决持续学习、且模型无法通过其他优势弥补这一缺失能力,存在相当大的可能性。这就是为什么我给出 25% 的概率,认为我们要到 2032 年之后才能自动化 Ilya 级别的研究者。
被找到正确的可验证代理指标卡住了吗?
有人可能会说,我上面列出的所有可验证代理指标都假设了当前范式。但首先弄清楚要验证什么目标——选择让 GPT-7 爬哪座山——本身就是 AI 研究的重要部分。这就是人们可能称之为“研究品味”的东西。2018 年之前,几乎没有人认为最小化下一 token 预测的损失是通往 AI 进步最可行的路径。所以没人会费心去构建 nanoGPT 速通环境,让智能体集群可以在其中练习减少达到某个预训练损失所需的算力。
难道不会存在多个我们需要跨越的新范式,才能从这里走到 ASI 吗?难道每个新范式不会有一些我们事前不知道的、与之相关的新代理指标吗?自动化研究者在 RSI 期间将如何找到这些?
我有两点回应:
Transformer 在现有的翻译基准上是可见的(事实上它就是为了击败该基准而发明的)——推理模型与已有的编程和数学基准也是类似的故事。在“范式跃迁”之前制定的代理指标,似乎完全有能力捕捉性能的大幅阶跃变化。这是因为 AI 学习算法相当通用。
想出与范式无关的外循环代理指标并不那么困难:你的模型能解决多少千禧年大奖难题;如果你用 1905 年之前的数据训练模型,它需要多久发现广义相对论;它多快能掌握完全没见过的电子游戏;等等。
总而言之,我认为对 RSI 影响的其他反对意见要强得多——如果这成为 RSI 最终无关紧要的原因,我会非常惊讶。
被数据卡住了吗?
数据难道不是 AI 进步的主要输入之一吗?如果没有以同样的速度扩展,RSI 将如何发生?
我的回答是:在 RSI 期间数据会继续增长,但负责汇编数据的将是 AI。为预训练和后训练生产更好的训练数据本身就是一个机器学习研究问题,而 AI 在这方面正变得越来越擅长。14
诚然,数据是 AI 研发中极其重要的输入。Jerry Han 和我实际上对此做过一些研究——我们发现,在预训练方面,过去六年里,来自数据改进的算法进步是来自模型改进的算法进步的三倍多。博客
预训练进展主要来自数据Dwarkesh Patel 与 Jerry Han·9 月 8 日阅读全文
然而,我认为人们没有意识到,预训练中的这些“数据”改进与普通的 AI 研究工作非常一致——基本上就是弄清楚哪些过滤现有数据或生成新合成数据的技术,能在实证上带来留出语料库上更低的损失。15
类似的情况在强化学习中也似乎越来越成立。DeepSeek 刚刚发表了一篇论文,谈论他们如何对新模型进行后训练。他们说,对基本 RL 算法的改动远没有那么重要,而“在合成数据和环境的规模、多样性和可验证性方面的系统性改进,几乎解释了所有观察到的增益。”
而这些环境的构建方式正变得越来越自动化:“我们投入大规模、自动化的流水线来进行数据合成和环境构建……以难度和正确性作为奖励信号,我们迭代地训练模型去构建更好的任务。”
被实验卡住了吗?
前面,我对当前数学领域的加速与我们应该预期 AI 研究中发生的情况做了这个扩展类比。但 AI 研究与数学之间有一个很大的区别。在数学中,你只需用纸笔推理,就能得出新发现。在 AI 研究中,你需要运行实验来验证你的想法,而这需要算力和时间。而且随着自动化研究者数量的增长,每个人能分到的总实验算力份额越来越小。
我对这一反对意见的回答是,每个智能体仍然能获得大量算力。前沿实验室每年的算力增长都超过四倍。如果这一趋势持续下去,那么到 2027 年底,OpenAI 可能给数千个智能体每人足够的算力,每天运行一次 GPT-3 规模的训练。16
请记住,2017 年原始 transformer 论文中训练的最终模型在 8 块 P100 上花了 3.5 天——今天租用这些算力大约只需 50 美元(约为 GPT-3 训练算力的万分之一)。
如果顶尖的人类 AI 研究者,比如 Noam Shazeer 和 Ilya Sutskever,拥有足够的实验算力每天训练一个 GPT-3 规模的模型,他们的进展可能会比现在更慢。但如果他们完全无法取得有意义的进展,只是坐下来开始抱怨自己的集群太小,那对我来说会极其令人惊讶。那么,你认为一个 AI 实验室如果有数千名优秀研究者,每人拥有这么多算力,且每人的思考速度是常人的 10 倍,它的生产力会有多高?你难道不想给这个新实验室开一张支票吗?
如今实验室研究和实验的性质,反映了研究者时间相对于算力极其稀缺这一事实——顶尖 AI 研究者个人的年薪高达数亿美元。因此,实验室今天使用算力的方式,几乎不能告诉我们:如果关键瓶颈是算力而非研究者时间,他们能多高效地使用算力。
RSI 智能体集群将以两种主要方式比今天的研究者更有效地利用实验算力:
它们可以立即用劳动力换取算力。为了节省宝贵的研究者时间,今天的实验在算力上非常浪费,而且也应该如此。人类研究者今天可能不会费心设置并仔细监控大量小规模预训练实验,而是并行启动几个大型多智能体 RL 运行。但如果你受限于实验算力,你完全可以多做前者。当那些自动化研究者进行 RL 运行时,它们可以阅读每一条 rollout 记录,并在某个任务出问题时立即暂停并重建整个环境。它们可以做大量疯狂的小规模模型消融,让模型稍微好一点点。而当一组智能体决定合并算力进行更大规模的运行时,它们可以花许多主观上的几十年设计信息量最大的汇总实验,一旦运行完成,它们还可以再花更多主观上的几十年全面分析它,然后再设计新实验。
这些自动化研究者还可能从大规模的小规模实验中总结出更好的学习科学。缩放定律本身就是个很好的例子——GPT-4 论文称,他们能够用训练算力少 10000 倍的模型来预测该模型的最终损失。更聪明、更快速的自动化公司要做的事情之一,就是尝试发现更多类似 muP 的缩放现象(muP 让研究者能从小 100 倍的模型预判更大规模运行的最优超参数)。还有多少类似的发现等待被发掘?我记得曾与一位 AI 研究者聊天,他认为从极小的神经网络中学习可能极具启发性。他是这样说的:“天上的神明必定遵循着与地上的蚂蚁相同的原理。”
总之,感谢你坚持读完了附录。我很快会分享下一篇关于超级智能的文章。1
他们将“主导”定义为“从高层级提示出发,端到端完成大部分任务”,同时由人类监督。完全自主的工作占比——Anthropic 将其定义为“AI 完全自主运行,无需人类介入”——目前仍为 0%。但请记住,今年 2 月时 Claude 处于“主导”状态的占比也基本为 0%。而如今,低于 Anthropic 所称“协作”水平的工作占比已不足 10%——“协作”意味着 Claude 在人类的密切指导下完成“大量工作”。2
正如 Sholto 将在他的博客文章中展示的那样,基于注意力的架构并不比 LSTM 表现更好,除非你同时具备残差连接(2015 年)、层归一化(2016 年)、Adam 优化器(2014 年)、交错 MLP 层、位置编码以及学习率预热。3
即便在那个世界里,AI 的进展也会在 2032 年之前大幅加速,因为 AI 不需要把研究者的整个工作都自动化,就能让他们快得多。假设 AI 在它们能做的每项任务上都比人类快 50 倍,而其余部分仍按人类的速度进行。如果 AI 能完成研究者一半的工作,研究者就只会快约 2 倍,因为人类负责的那一半仍和以前一样耗时。达到 90% 时,研究者约快 8.5 倍;达到 99% 时,快 30 倍以上。这就是阿姆达尔定律:你无法加速的那部分工作决定了整体节奏。4
OpenAI 表示,GPT-5.2 比当今的模型更笨、效率更低,但它在 GDPval 基准测试中完成任务的速度比人类专家快 11 倍。原始生成速度也指向同一方向:一个前沿模型每秒输出约 60 个 token,这大约是人类说话速度的 13 倍,是人类打字速度的 50 多倍。5
我的直觉来自 Ryan Greenblatt 和 Eli Lifland 的一篇精彩文章。以下是一个改编自他们文章的思维实验:想象一个“慢速”版的 OpenAI(我们称之为 SlothAI)。它拥有与真实 OpenAI 相同的算力,但其研究者每周只工作一小时。他们是世界上最懒的研究者。SlothAI 会让进展慢多少?肯定不是慢 50 倍——即使研究者在一周 98% 的时间里打瞌睡,实验也可以继续运行。但 SlothAI 的人仅凭一小时的劳动,究竟能设计和分析多少严谨的实验?SlothAI 将被迫在算力使用上比真实 OpenAI 浪费得多得多。在我看来,直觉上 SlothAI 最终在算法进展上至少会慢五倍。
但与一家满是自动化研究者的公司相比,OpenAI 就是 SlothAI。因此,任何让 SlothAI 生产力更低的原因(例如,他们的研究者用于头脑风暴不同想法、分析和设计实验的时间少得多),也同样适用于 OpenAI。人类的思考速度是生物学的偶然。如果我们的速度恰好就是“再快也无益”的那个临界点,那将是一个奇怪的巧合。6
这个“单年实现三到六年 AI 进展”的估计,实际上对应着那一年四到九年的纯算法进展。这是因为那一年的训练算力增长不多,因此你需要额外的算法进展来弥补。而且这是一个相当激进的估计!按上限算,这相当于在一年之内从发明 transformer 一路走到获得 GPT-6 的算法配方。7
而且你可以在每个 AI 的训练过程中,为数百万个其他历史问题做预测训练,在此期间 AI 可以思考数百小时,甚至可能在给出答案之前为相关领域构建计算性的 AlphaFold 类模型。
显然,由于世界内在的混沌性,有些预测即使对超级智能来说也是不可能的。但许多预测并非如此。通过这类训练,AI 将获得一种科学和政治判断力,甚至优于最精明、最有远见的人类——在预测自己任何即时行动的极长期影响方面,它们将比俾斯麦、李光耀或利奥·西拉德更胜一筹。8
举个更具体的例子:我最近发布了一项我做的评估,让不同的模型在这款名为《血染钟楼》的黑手党式社交欺骗游戏中正面交锋。较新发布的模型彻底碾压了今年早些时候发布的模型,并展现出远更强的战略推理、长期连贯性、多智能体协调以及整体上的精明程度。这只是AI总体上一直在进步(想必并非直接针对其训练)的众多评估类型之一。9
已经有一个这样的公开挑战,叫做 nanoGPT speedrun,它源自 Andrej Karpathy 对 GPT-2 类架构的实现。10
调试能力也是可以训练的:你可以向一次训练运行中注入细微的 bug,并奖励模型找出它们。我在之前的一篇文章中写过一些关于真实预训练运行如何失败的例子。11
顺便说一句,据我所知这已经在发生了——实验室越来越倾向于训练更小的模型并做大量实验,而不是简单地扩大规模。12
这些智能体必须完成的任务包括:从嘈杂的 LIGO 数据中探测引力波、修复正则表达式引擎,以及学习玩一款新的电子游戏。在这样的环境中,智能体可以花大量时间做实验、获取反馈并修正自己的方法。13
当人们谈论持续学习时,往往把两个不同的问题混为一谈。第一个是让模型的单个副本像新员工那样,在数周或数月的工作中从自身经验中学习。正如我上面所解释的,我认为这主要将来自扩大上下文学习规模,以及构建训练环境来教模型如何从这类经验中学习。第二个问题是让基础模型本身从部署在整个经济中的数百万个副本的经验中学习,这将赋予它一种任何人类都无法企及的、超人般的经验广度。这就是我所说的广泛部署的智能爆炸。但你并不需要它就能获得与个体人类专家相当的 AI。14
事实上,无论如何 AI 都将被迫超越人类数据,因为在 RSI 期间模型将进步到超越人类能力(而且在某些领域,它们已经在这样做了)。15
让我们来看看开放的预训练语料库以及它们随时间是如何演变的。摘自我们的博客文章:“我们从 2019 年的 OpenWebText 开始,它只包含从 Reddit 链接而来、获得足够多点赞的网页,然后经过去重和过滤,因此总共只有约 90 亿个 token(这基本上就是 GPT-2 训练所用的数据)。到 2025 年,像 UltraFineWeb 这样的开源数据语料库不仅规模大得多(通过抓取整个互联网),而且使用了复杂得多的过滤方法(例如,训练一个分类器来预测哪些数据能凭经验提升模型性能)。”这些都是机器学习研究中司空见惯的工作。它不需要数据中心之外的专业知识就能完成。16
OpenAI 在 2025 年底拥有 174 万个 H100 等效算力。如果这一数字在 2026 年和 2027 年翻两番,那么到 2027 年底他们将拥有约 2780 万个 H100e。按每个 H100e 每秒 1e15 FLOP 计算,一年就是 8.78e29 FLOP。最初的 GPT-3 在其最终训练运行中大约使用了 3.14e23 FLOP。这意味着 OpenAI 到 2027 年底的算力集群每年应能支持 280 万次 GPT-3 训练运行规模的实验,即每天约 7,660 次。而如果只有三分之一的算力集群专门用于实验,10,000 个智能体仍然可以各自大约每四天完成一次 GPT-3 规模的训练运行。
关于本文的讨论
准备好了解更多了吗?