为什么我仍不认同真正的 RSI

136 12 19 分享文章 语音旁白 0:00 -9:31 您的浏览器不支持音频播放。请升级。我们正处于这样一个时代：少数组织正在使用数千个并发智能体来改进其流程和产出。而这些组织恰好只是前沿 AI 实验室，尤其是 OpenAI 和 Anthropic。在过去几周里，我一直在思考：这些组织中如此多的员工迅速更新对 AI 进展速度及相关风险的预期，究竟意味着什么。

我的一个核心观点是：前沿实验室以及旧金山 AI 圈更广泛、狂热的竞争文化，构成了一个会放大任何 AI 担忧的环境。这有一定好处，能让更广泛的受众意识到 AI，因为恐惧好卖，但夸大风险时间线或严重程度会产生负面的二阶效应。我记得 2023 年和 2024 年有许多声势浩大的 AI 安全辩论，以及它们给开源 AI 可行性蒙上的阴影——当时的主要风险并未在预测的时间线内出现。

即便在一年前，这两家关键实验室的普通员工也对 AI 风险 and 进展速度非常焦虑，尤其是当智能体在 2026 年初获得更强的产品市场契合度时。这种文化前提，一旦接触到“数千个智能体将不断在你的业务中相当高效地工作”这一现实，只会加剧这种焦虑。从这种焦虑，以及像 OpenAI-HuggingFace 这样的事件，跳到灭绝风险，感觉非常宗教化。

Richard Ngo 对这种情况有一个贴切的总结：

如今，AI 安全社区中很大一部分人正或隐或显地朝向这样一种未来：智能爆炸在几年内发生。我的默认预期（在没有大规模暂停的情况下）是类似的事情会发生：他们最终会被证明方向正确（相对于几乎任何与该社区无关的人的预期），但事实错误。具体来说，我们不会在未来 8 年内拥有超级智能，但事情仍会发展得如此之快，以至于会*感觉*那些主张短时间线的人是对的。

……我现在想说点什么，是因为朝“奇点将至”的从众程度正变得相当疯狂。

就个人而言，我认为这一观点与我在对真正递归自我改进（RSI）的替代情景中所概述的内容密切相关，我称之为有损自我改进。这一观点的总结是：

可自动化的研究过于狭窄，无法在规模定律的指数级成本面前实现巨大的净加速进展，

更多并行 AI 智能体的收益递减是真实存在的，并且

资源瓶颈和政治是构建强 LLM 的主要因素（而 AI 在加速这一点上能做的要少得多）。

所以，我需要在上述文化温度潜在上升与实验室可能已经看到真正可怕、具体但尚未公开的突破这一可能性之间权衡。我的预期是，当前更多的 AI 安全担忧来自前者——规模化智能体在工作——但我对此抱有高度不确定性。基础性的、基于想象力的 AI 突破，是那种会让我把 RSI 时间线从更接近“在指数级成本（规模定律）面前维持进展的工具”调整为更不可预测和/或不稳定的东西。

近期关于 RSI 的最佳资源包括 Dwarkesh 与 Noam Brown 的播客，以及 John Schulman、Beren Millidge 和 Charlie O’Neill 三人组的播客。我从两者中都有一些重要的反思。

首先，与 Noam Brown 的播客让我内化了大规模推理容量在短期内带来的加速有多大。这些实验室会把数千个智能体投入到重要、可衡量的问题上。与此同时，可供它们使用的算力将继续扩大。我怀疑，随着总算力规模上升，实验室能否负担将固定比例的算力用于内部研发，尤其是考虑到它们有 IPO 计划，并面临对基本经济性的更严格审视。重要的是，不要把推理时扩展的巨大进步——这一动态应当相当可预测——与 RSI 的产出混为一谈，后者高度不确定。

其次，那期三人播客讨论技术能力现状，引发了我一种尚未完全消化的意外反应。在这期播客的前一个小时左右，他们辩论 RL、蒸馏、扩展、推理时计算等的作用时，我发现自己强烈认同其主张的分布。简而言之，我们当前的技术有效，能让我们解决我们知道如何表述的问题，但在大多数部分可验证的领域中，它们并不会带来对未知、更难问题的神奇泛化能力（也就是说，数学领域的进展是例外，而非规律）。

这期播客令人意外的是结尾，他们在预测 AI 各种阈值的时间线。我让 GPT-6-Astra 总结了 Dwarkesh 提出的三个问题的回答，形式是“AI 何时达到 X 能力”：

所有时间线均相对于采访日期。

可在一个月内胜任广泛白领工作的即插即用远程工作者

Charlie O’Neill：约 1 年，前提是能通过程序化方式访问职场工具；若必须通过浏览器操作，则约 2 年。这里指的是普通白领工作，而非高度创造性的研究。

Beren Millidge：实现完全通用约需 3 年；80%–90% 的覆盖率会更早实现。主要不确定性在于在线学习和任务的长尾。

John Schulman：约 1 年可得到一个“尚可”的版本，其能力不均衡，但会随时间改善。

AI 研究人员的生产力提升 10 倍

Charlie O’Neill：5–10 年。瓶颈在于吸收信息并决定下一步做哪个实验。

Beren Millidge：认为 John 约 2 年的估计是合理的，但没有给出独立的时间线。假设 AI 能连续运行实验并从反馈中学习；其他瓶颈仍会存在。

John Schulman：约 2 年。

AI 在所有基于计算机的工作上超越顶尖人类专家，包括多年期项目（“ASI”）

Charlie O’Neill：5–10 年。强调记忆和上下文长度方面的局限。

Beren Millidge：在各实验室重点关注的领域约需 5 年；若严格指每一个领域，则可能更久。对通用版本没有给出确定时间线。

John Schulman：3–4 年。空间/物理领域可能耗时更久；需要入职培训并解决更长视野的学习问题。

大致来说，讨论 RSI 时反复出现的一个问题是智能缺乏明确界定。智能的参差不齐意味着我们需要在具体、可衡量的任务上讨论阈值。LLM 智能的本质与人类塑造方式非常不同，而我们预测的角色却是人类形态的。因此，AI 并不会像远程工作者或 AI 研究员那样离散地跨过这些阈值。这是一个缓慢扩散的过程，某种形式的长尾将始终存在。

以 AI 研究人员的生产力为例。许多人低估了科学中有多少是沟通以及与同事设定标准。我确实相信实验设计与测试的循环在不久的将来会快 10 倍，但不相信假设生成和直觉构建也会如此。加速理解将是关键瓶颈——尽管所有 AI 工具都得到了大幅改进，人类在这方面的能力却只会略有提升。科学本质的一大改进将是让人类能在此投入更多时间，而不是让他们在这方面呈指数级变强。

发表评论

这与 Noam 的播客相呼应。在不久的将来，智能体集群将能有效解决答案可验证的清晰开放问题。同样地，在改进 AI 模型方面，RSI 在提升效率上远比扩展峰值智能更有帮助。这是因为 LLM 服务有明确的指标需要改进，这些指标可衡量且可塑。这将带来更好的推理时扩展和更高效的多智能体系统。

不过，我始终无法忽视一个事实：我们所有的扩展定律都表明，要让智能获得线性提升，需要指数级的算力和资源。RSI 有望让现代 LLM 变得便宜得多。那些显示 LLM 在给定智能水平下成本呈指数级下降的趋势很可能会加速。对实验室而言，一个关键因素是提高利润率，因为在固定智能水平下若价格竞争激烈，收入可能面临下行压力——杰文斯悖论很可能占上风，从而造就强劲的业务。

RSI 因素在改进 LLM 拼图中诸如管理复杂后训练配方等部分时会困难得多。John Schulman 有几句话我强烈认同，关于实验室后训练的现状：

如果我思考一个后训练团队以及为什么需要很多人在团队中，那只是因为有很多不同领域需要你弄清楚模型应该如何表现。要完全自动化整件事会非常困难，因为必须有人思考模型在这个领域应该如何表现。

以及后来：

后训练很容易以某种不会在基准测试中显现的方式搞砸。

这些任务对当前的 LLM 来说格外困难。是的，随着行业仍在快速扩展与这些领域相关的 RL 环境，它们会变得更好，但这种范式不会永远持续。在不久的将来，构思、构建和测试能真正挑战领先 LLM 的新环境可能会变得指数级更难——而这些困难环境正是 RL 中至关重要的学习信号。

OpenAI 和 Anthropic 分享了大量与 RSI 相关的内部测量数据，而我目前的解读是，实验室内部自动化程度提升最大的领域是软件工程、监控日志、管理计划实验以及其他相当常规（但不总是简单）的任务。例如，最近 Claude Fable 5.1 与 Mythos 5.1 系统卡中的这段话让我感到意外：

我们认为，近期 AI 模型的内部使用是维持当前进展速度的关键因素，但我们尚未看到明显迹象表明会出现超出该速度的急剧加速。

总而言之，我认为我们正在对抗的最难的指数是峰值智能。那是最难推动甚至加速的。不过，我对 RSI 极早期阶段的心智模型更多是将推理时算力大规模扩展并扩散到 AI 研究及相关活动中，这里有大量唾手可得的成果。仅这一点就仍有望带来经济上的变革。它还可能释放更多资源来推动 AI 扩散，而这是释放 AI 大部分潜在益处的关键瓶颈。

就目前而言，在更多证据出现之前，有损自我改进仍是我对进展轨迹的基线判断，而越来越多关于灭绝风险的讨论似乎非常不合时宜。一如既往，AI 领域的情况可能变化很快。