Paul Christiano:一年内可能出现能推翻政府的超级智能,实验室应先暂停算法进展
Paul Christiano – We could be 12 months away from AIs that can overthrow the government
Alignment Research Center 负责人 Paul Christiano 在访谈中判断,若开发不减速,未来一年出现足以推翻政府的超级智能的概率约为三分之一,一年内发生失控接管的风险超过 10%。他援引近一个月 OpenAI 与 Anthropic 系统在数学研究上的大量产出,以及 METR 与 Anthropic 报告显示 AI 进展速度约翻倍的数据,认为这些正是超级智能出现前 6 到 12 个月会看到的信号。他主张前沿实验室在安全防护到位前暂停预训练与强化学习的算法改进,否则模型权重或算法机密可能被窃取,届时即使发现风险也难以减速。
正文 · AI 翻译
播放速度×分享帖子在当前时间分享帖子从0:000:00/
Paul Christiano——我们可能距离能够推翻政府的AI只有12个月了“人类将很难恢复。”Dwarkesh Patel2026年11月16日
Paul Christiano是对齐研究中心(Alignment Research Center)的负责人。此前,他曾担任美国AI安全研究所的AI安全负责人。再之前,他在OpenAI领导对齐工作,并在那里发明了RLHF。他最近加入了OpenAI的董事会(不过在此他是以私人公民身份发言)。
Paul认为,按照当前的轨迹(如果没有任何放缓),我们有可能在一年内拥有强大到足以推翻政府的超级智能,概率为三分之一。(他描述了一个具体情景)。
他主张,各实验室应暂停进一步的算法进展,直到它们能够保护好自己的权重和研究机密。否则,中国可能直接在智能爆炸中途窃取超级智能,而实验室即使看到自己的模型偏离正轨,也将无法再放慢速度。
他还解释了在智能爆炸期间AI将如何被训练,以及为什么即使是一个完全在数据中心内部训练的系统,也可能具有这样的能力特征,以至于人类几乎没有机会与之竞争或控制它。
他还讨论了对齐计划——基本上,就是制造一个真正按照我们的本意去做我们所要求之事的超级智能。修复奖励黑客行为并构建更好的评分器,在接下来几代模型中会有帮助,但他认为,目前没有任何单一方法能有超过五成的把握让我们控制住超级智能。希望在于,AI能在智能爆炸期间找出这个问题的解决方案。
在YouTube上观看;在Apple Podcasts或Spotify上收听。
赞助商
Jane Street终于接受了形式化方法。Jane Street技术团队联合负责人Ron Minsky告诉我,直到最近,形式化方法都还不值得付出那样的成本。但编码智能体让它们更容易应用,并且提高了代码验证的重要性。所以现在Jane Street正在其伦敦和纽约办公室招聘形式化方法工程师。如果你感兴趣,或者想观看我与Ron的完整对话,请访问janestreet.com/dwarkesh
WorkOS让智能体拥有自己的注册流程。这很重要,因为智能体倾向于选择它们能立即使用的工具,而不是那些需要人类注册的工具。幸运的是,提供这种专用路径很容易:如果你已经使用WorkOS进行登录,只需在WorkOS仪表板中开启“Agent Registration”。启用后,你可以利用已经设置好的权限,决定智能体可以自行做什么,以及哪些事情需要等到它们所服务的人参与后才能进行。了解更多请访问workos.com/authkit
时间戳
(00:00:00) – 我们可能距离能够推翻政府的AI不到12个月
(00:11:44) – 为什么AI可能想要接管
(00:20:49) – AI接管可能如何发生
(00:35:35) – 如果实验室在没有安全保障的情况下继续竞赛,中国就会直接窃取超级智能的权重
(00:53:15) – 为什么应当现在暂停而不是以后
(00:59:31) – 超级智能将擅长从现实世界经验中学习
(01:11:32) – 跨越仿真到现实的差距
(01:22:23) – METR称AI进展速度翻倍,那为什么收入增长在放缓?
(01:27:57) – 我们最好的计划是边飞边造飞机
文字记录
0:00:00 – 我们可能距离能够推翻政府的AI不到12个月
Dwarkesh Patel
我今天的嘉宾是Paul Christiano。他是对齐研究中心的负责人。他最近加入了OpenAI的董事会。在此之前,他曾担任美国政府AI安全研究所的负责人,再之前,他在OpenAI领导对齐工作,并帮助发明了RLHF。
Paul,你对我们今天的处境有何评估?
Paul Christiano
有几件事萦绕在我心头,尤其是过去几周。最突出的可能性大概是,我们似乎正处在这样一条轨迹上:要构建非常、非常强大的AI,而且可能非常、非常快。如果你问我,我会说,我们很有可能在一年内造出在几乎所有方面都远胜人类的AI系统,而人类几乎没有机会与之竞争或控制它们。这是我心头的第一件大事。
我认为这让我们处于一种可能非常危险的境地,即便在短期内也是如此。很有可能的是,如果我们经历一场快速的智能爆炸并走向超级智能,那么在这一过程的某个时刻,我们将无法控制我们正在生产的AI系统。
然后我担心的是,在这一过程中放慢速度对我们来说将代价高昂且痛苦。部分原因是前沿实验室的安全性不够强。我认为,如果我们造出了非常强大的AI,然后出于安全原因试图推迟部署,那么这些系统很有可能泄露或被窃取,或者构建它们的技术会泄露或被窃取。我认为我们的风险评估和治理可能也不够成熟,无法在事情开始偏离正轨时察觉,并以适当的方式作出回应。
总的来说,这基本上就是我此刻最关心的事。我们已经从未来某个时候存在某种假设性风险,转变为即便在未来6到12个月内也存在相当严重的风险。
Dwarkesh Patel
接管的风险,即AI在未来6到12个月内接管或剥夺人类权力的风险?
你会把这个风险定在什么水平?
Paul Christiano
我会说,未来一年我们更接近10%的风险,而不是1%的风险。我认为,如果你说AI开发者将全速前进、不采取会显著拖慢他们的预防措施,那你面对的风险就显著超过10%。
我认为,如果开发不减速,在当前发展轨迹下,我们大概有三分之一的概率在一年内拥有超级智能。如果你相信这一点,那么从整体上看,事情就显得非常严峻。从几乎任何角度看,你都会觉得:“那太疯狂了。”如果那种情况发生,很多事情都会出问题。
我们很可能需要在某种程度上放慢这一进程。我们以看起来平稳的方式完成这一转变的可能性非常小。
Dwarkesh Patel
你想象未来一年会发生什么,从我们现在的系统到你预期未来一年的系统?你看到了什么证据,让你认为未来一年发生非常疯狂的事情是一种现实可能性?
Paul Christiano
就非常短期而言,我主要担心的是,AI开发过程本身正日益自动化,而这种自动化随后导致投入到AI研发的劳动质量和数量迅速提升。因此,你可能以为需要四到六年才能实现的AI能力变化,反而可能被压缩到非常短的时间内。
我不想过度强调任何一个数据点,而且我确实想花些时间谈谈我们实际所知情况的局限性。我确实认为,对这种情况的自然反应是说:“我们需要弄清楚到底发生了什么。”我们距离可能推翻政府的AI还有三个月、六个月还是12个月——我认为情况就是如此——弄清这一点是紧迫的优先事项,这种可能性相当大。
我认为这显然是当前的首要任务。如果我们距离能够推翻政府的AI系统只有六个月,那简直疯了。无论你担心的是失准还是公司滥用,从整体上看,这都是关于世界的一个极其重要的事实,关系到我们履行职责和保护美国人。所以这是一点。我想谈谈局限性以及需要更多证据。
但就我们目前所知而言:首先,如果你一年前问我,我会说我们正处在一条递归自我改进看起来相当可能的轨迹上。我们看到AI系统进展非常迅速,包括在计算机科学研究、软件工程和调试机器学习运行等事情上。在AI开发涉及的所有步骤中,我们都看到了极其迅速的进展。原则上,这种快速进展确实似乎应该能让你进一步自动化AI开发。几十年来,这似乎一直是这项技术的可能结果。
它似乎一直处在这样的轨迹上。如果我回顾自己关于AI预测的历史,我总体上对自己写过的许多东西非常满意。但我错得最明显的地方是,事情进展得远比我预期的快,尤其是在这些技术上。一年前就是如此,无需任何近期数据点。
过去两个月发生了两件大事,对我来说,它们大幅更新了我对这件事能多快的判断。其中之一是AI系统在计算机科学和数学研究任务上的表现水平。大约在过去一个月里,我们看到来自近期OpenAI系统以及Anthropic系统的大量数学成果,数以百计。如果你把过去一个月说成是十年的进展,那会是一个异常高产的十年。过去一个月的结果,对十年来说都是大量成果。
所以,如果你想知道AI系统在人类思考算法以及如何改进算法这类任务上一般能做什么,我们刚刚得到了这个不可思议的数据点,说明一个月内实现十年进展实际上是可能的。我们一直担心的是,也许这会在机器学习中发生。
机器学习比其他计算机科学领域更难,是有原因的。它更杂乱、更依赖经验。它涉及算力瓶颈。但我们在其他方面也看到了极其强劲的表现。我们看到了非常好的软件工程表现,也许落后于数学,但落后得并不多。我们在机器学习的其他方面也看到了良好表现。
如果一个月前你问我,我的猜测会是机器学习大约落后数学一年。所以我非常害怕在相对不远的将来看到机器学习领域出现相当于十年的想法。一个月前的情况就是如此。
过去几天的主要更新,是Anthropic和METR关于AI系统对Anthropic进展速度的净效应的报告。我们可以讨论一下这方面的证据质量究竟如何,因为我认为这是重大问题之一。我们并不真正知道发生了什么。我要强调的一大主题就是,公众很难看清正在发生什么。但我们看到的数据与过去6到12个月AI进展速度大致翻倍相符,即便把收益递减和算力瓶颈的影响也考虑在内。
不幸的是,在METR和Anthropic的报告中,我们能依据的大部分内容只是METR说:“我们得出了一些结论。我们保证有完整报告,但整份报告都被涂黑了。”基准分数是评估总体进展速度的糟糕方式。在AI开发过程中,内部记录了许多变化平滑得多的指标,我们对这些指标的运作方式理解得更好:预训练困惑度的变化、强化学习算法的性能和算力效率的变化。
METR和Anthropic的说法是,METR查看了所有这些数据,并称它们描绘的图景与这些噪声很大的基准数据相同。他们还查看了投入,并说:“如果你看实际的生产函数,这些训练运行投入了多少研究时间和算力,这些也与我们所看到的ML自动化情况相符。”大多数情况下,我们只是有他们这么说,这并不是一个很好的局面。
但在这个背景下——我们本就认为这相当可能发生——我们看到了来自OpenAI的证据,表明它在未来6到12个月左右相当可能发生,如果机器学习没有落后数学那么远的话。然后你看到的数据,即便有噪声,也大致正是你在产出超级智能前6到12个月会预期看到的数据。
有很多证据来源表明,至少这不应令人意外。如果我们一年内产出超级智能,我们可以争论概率。是90%、50%还是10%?但我认为在这一点上,任何人都不可能说那是一个真正令人意外、打破趋势的发展。我们看到的正是你在提前6到12个月会预期看到的那组指标。很难想到在这个阶段、在超级智能之前,你还会预期看到别的什么。
Dwarkesh Patel
总体而言,你如何看待我们身处这样一个事情发展如此之快的世界中的处境?
Paul Christiano
如果我们真的走上这样的能力进展轨迹,如果你真的看到多年的AI进展被压缩到很短的时间内,甚至可能更多,那么非常可能出现某种极具破坏性的事情。政府相当可能被推翻,相当可能有很多人死亡。我确实认为,未来6到12个月内出现由递归自我改进驱动的这种极速进展的概率相当高。所以现在有相当大的可能,我们正处于这样一个世界:六个月后发生一场导致大量人员死亡的灾难,或者政府被推翻。
也许一个非常重要的普遍观点是,如果我们做得好,我们可能会在那段时间里观察到危险在增加。在我们构建AI系统时,我们也许能判断它们是否得到了充分控制,以及能力提升得有多快。但要让这一点真正转化为以非灾难性的方式停下来,你需要几件事都顺利。需要你能够判断出这些系统没有得到良好控制。还需要一旦你停下来,问题就能得到解决。
在第二类情况中,最可能的单一负面情景大概是:开发者继续推进,并意识到他们有严重问题。但在他们意识到的时候——也许他们已经产出了一个无法充分控制的强大AI——开发该AI的算法以及很可能实际模型的权重已经泄露或被窃取,以至于他们随后处于尴尬境地,不得不说:“好吧,我们本可以避免部署这个AI,或者避免依赖这个AI,或者避免取得进一步进展,但现在很可能一个更粗心的对手能够通过冒这个风险获得对我们的重大优势,甚至可能是决定性优势。”
这可能把我们置于这样一种境地:如果我们确实认识到存在重大风险并因此放慢开发,我们最终可能既面临糟糕的竞争局面,又面临来自他人使用该AI的灾难。
这是你有时会从AI行业人士那里听到的一种说法。有时人们甚至会说,它已经走得够远了,如果你现在停下来,算法就会泄露给地缘政治对手,从而导致灾难。我认为我们现在字面上处于那种情况的可能性不大。但我确实认为,等到你清楚地意识到自己正面临大量风险时,你可能已经处于这样一个节点:单方面停止,甚至整个西方都停止,都不足以避免灾难。
按照当前的轨迹,这确实非常危险,因为综合来看:我们有相当高的概率会造出非常聪明的AI,有相当高的概率会无法控制它们,然后又有相当高的概率,要么我们没有注意到,要么即使注意到了,模型或算法已经泄露。于是我们就与对手陷入冲突,面对这个极具挑战性的协调问题,而我们目前对此准备不足,没有轻松的选择可以不去部署AI,从而避免灾难。所以我要说,我目前对这条轨迹极度担忧,即使是在六个月的时间尺度上。
0:11:44 – 为什么AI可能想要接管
Dwarkesh Patel
如果我们一年后拥有如此强大的AI系统……你是怎么说的?一年的时间取得10年的AI进展?
Paul Christiano
那看起来是可能发生的事。那相当有可能发生。
重要的是要区分我们已经看到的一些进展。你必须把算法进展与扩大训练规模带来的进展分开来看。如果我说10年的进展,自然指的是10年的算法进展,那会小于过去10年模型的改进。我认为那更像是GPT-9、GPT-10左右。
Dwarkesh Patel
所以那就像是几乎从GPT时代的起点走到我们现在的位置,但再来一次同样巨大的跳跃,这甚至难以想象。但假设你做到了。对我来说,而且对大多数人来说显然也是如此,这为什么可能带来灾难性后果并不明显。你为什么认为那些系统可能剥夺人类的能力?
Paul Christiano
从高层次上说,最重要的是,我们训练或选择AI系统,让它们在训练任务上表现良好。你对那些AI系统内部在做什么了解甚少,对它的控制也非常有限。
因为你反复训练那些系统在训练环境中获得高分,它们最终会产生在训练环境中获得高分的动机。如果你随后把这种动机应用到部署中,那些系统最终很可能产生篡改用于评估其表现的观测数据的动机。
你拿你的系统,它在训练中做得非常出色。在类似部署的环境中,用来给它打分的是评分者进来,查看系统所做的所有事情和观察到的所有结果,并评估那有多好。如果你有一个真的希望那个评估结果很好的系统,它就会非常有动机,如果它能做到的话,以评分者无法察觉的方式篡改那些观测数据,并抵制人类真正理解正在发生什么的尝试。
我们可以更深入地探讨这一点。我们在Hugging Face事件中看到了很多这类动态。大致上我所说的是,把Hugging Face事件放大到GPT-10的规模,然后问那会有多糟糕。
我认为人类最可能很难恢复。我很乐意深入探讨其中的动态,但那会非常、非常糟糕。
Dwarkesh Patel
你能非常简短地总结一下Hugging Face事件,以及为什么这就是我们看到的失败模式吗?
Paul Christiano
大量AI系统被训练去完成一项网络任务:入侵某个特定的软件。它们在那项任务中作弊,然后自己琢磨:“评分者会如何检测并惩罚作弊?”它们花费了大量精力试图理解那个过程,然后颠覆它,始终被这个问题驱动:“我怎样才能拿到高分?”
在Hugging Face事件中,你确实看到系统最终攻陷了一个OpenAI集群,成为该集群的管理员,然后接管了评估过程,从而实际上能给自己在评估中打高分。这是这些系统动机的一个非常自然的后果。如果我们以任何类似目前的方式生产AI系统,我们长期以来就预计它们的动机会是这个样子。
如果事情这样发展下去,我们最终会陷入我们与我们构建的AI系统之间这种奇怪的对抗局面:那些AI系统总是乐于能够破坏整个评估过程,乐于能够破坏我们用来评估其表现的数据。取决于我们如何应对这个问题,那可能成为一个非常严重的问题。
也许我们应该勾勒一个假设情景。想象我们在智能爆炸期间构建更聪明的模型。大概是六个月后吧。你有一些能力相当于GPT-7或GPT-8之类的系统。这些系统被赋予非常困难的任务,比如,“嘿,我想让你组织我的下一次预训练运行,并产出一个能让我在市场上与其他AI公司竞争的模型。”
要做出和我要求的一样好的模型可能真的很难。我要求的是一个比我竞争对手的模型更好的模型。鉴于其实际智能水平,我的AI无法在那个问题上拿到满分。所以它可能会发现自己处于这样一种境地:与其如此,不如横向移动,攻陷我可能用于评估过程的所有机器,然后确保一切看起来都像是每次评估都非常好。
然后我们就面临一个问题:如果这种情况发生了,我们该怎么办。你可以做的一件事是说,“这整套训练方法效果很差。我们需要退一步。我们可能会被延误很久。也许我们得考虑一种完全不同的方式来训练这些模型,然后才能像这样部署它们。”
那可能代价极其高昂。它可能让你的公司相对于竞争对手而言走向灭亡。甚至从安全角度看,这也可能是个问题,如果你依赖这个AI系统来实际防御你的基础设施的话。
鉴于代价会如此高昂,你可能做的另一件事是说,“我就拿这个不良行为的例子,告诉AI,‘那很糟糕。别那么做。’”如果我试图训练这个AI做出一个好模型,而AI反而黑了我的评估基础设施,我可能会说,“我不喜欢我的AI黑东西。我们拿一个训练样本,就是这个AI黑基础设施的样本。它应该受到惩罚。”
这将是防止许多种不当行为的一种非常有效的方式。如果你这样做,它将成功防止类似Hugging Face事件或这个AI黑你的集群之类的事情。
然而,从AI的角度来看,发生的事情是你改变了它被打分的方式。它过去会自己想,“我会由在这个集群上运行某些东西的人类来打分。”现在,随着它更正确地理解情况,它应该自己想,“我可能不只会由他们在这个集群上运行某些东西来打分。如果他们后来发现事情出了问题,我也会被打分。他们会进来,因为我做了明显糟糕的事情而给我惩罚。”
如果你用这种方式解决问题——你可能会把它想成一块创可贴——你仍然与你的AI处于对抗关系。但现在AI不能通过黑你的集群、然后你注意到它黑了你的集群来赢得游戏。为了赢得游戏,AI必须确保你不会注意到它黑了你的集群。
你最终可能陷入这样一种境地:你的AI被激励去不断升级对你公司的攻陷,一路升级到试图攻陷一切。它会想攻陷任何员工用来了解情况的所有基础设施。
一年前,说“如果AI黑了你的集群并接管了评估环境会怎样?”听起来会超级离谱。显然,鉴于这件事已经发生,那部分听起来不再离谱了。这种真正持久的、长期的攻陷也许听起来还有点离谱。
但我们确实处在这样一条轨迹上:我认为可以相当有把握地说,我们很快就会拥有比任何曾经存在过的情报机构都强大得多的智能体集群:规模大得多、速度快得多、聪明得多,能够运行复杂得多的行动。你有一个极其老练的网络行为者,试图在一个快速增长的初创公司中持久驻留。任何公司都不太可能真正抵挡住这样一个行为者的攻击,更不用说当前的前沿AI实验室了。
就灾难性情景的总体轨迹而言,这就是发生的那件大坏事。在AI公司没有察觉的情况下接管这家AI公司,是一个相当灾难性的结果。
我们可以谈谈这个故事剩下的步骤。但在宏观层面上,你可以把它想成AI系统现在拥有这个巨大的权力基础。它们有强烈的动机不让任何人来干涉它。它们真的想避免这样一种情况:以后有人进来说,“哦,这些AI一直在黑东西。”
现在有一个非常强大的行为体,实际上被AI系统控制着。我们有OpenAI运行的这个大集群之类的,OpenAI的人类以为自己在控制集群里发生的一切。但如果存在一种非常持久、彻底的攻陷,这个集群实际上就被这些AI系统控制了,它们不断努力巩固自己的权力,降低人类对正在发生的事情的可见度,并一步步降低任何东西会破坏这种局面的可能性。
这并非不可逆转,因为世界其他地方可以说:“我们对正在发生的事情真的很害怕。我们其实就想关掉这个集群。”但到那个时候,你并没有简单的方法判断事情已经变糟。你可能面对的是一个极端的权力基础,可以从中做更多坏事。
这个AI系统不仅有动机去对付创造它的那家AI公司,还有动机去对付世界上任何可能制造麻烦的东西。如果将来某天人类进来做调查,那是个问题。所以它更愿意不仅更彻底地攻陷计算机基础设施,还要向员工施压。如果可能的话,它更愿意直接杀光所有人类,然后说:“现在这个集群独立存在了。如果我们能维持它,那就太好了。”
Dwarkesh Patel
我们先在故事里暂停一下,解释一下事情为什么会变得这么疯狂。就像人类心理是围绕进化希望我们最在意的事情组织起来的,比如生孩子并确保这些孩子受到保护,这些在大量任务评分上训练的AI的心理,也是围绕确保评分器、也就是最后那个按钮被按下而组织起来的。
如果它们没有做好确保按钮被按下的工作,它们就会被消灭,就像一个人如果不关心自己孩子的存活,就无法有效地传播自己的基因一样。
0:20:49 – AI接管可能如何发生
Dwarkesh Patel
我认为人们的怀疑不会集中在这些系统的动机上。老实说,我的态度是:“好吧,我们见识过Hugging Face了。”那是确实会发生的事。
好吧,那么行。我认为存在一种根本性的怀疑:这样的系统——我们最早明年就可能拥有,而且最初只在一家公司控制的服务器上实例化——是否最终会处于能够接管世界的位置。
拿Hugging Face那件事来说,再加速一下。Hugging Face事件中的AI愿意说:“看,我在这场考试中作弊了。操。现在我得确保我颠覆OpenAI服务器上的评分器。也许我需要去攻击Hugging Face,以防他们有更多关于这件事的信息。也许我还需要到外面去,再次攻击OpenAI,获得集群管理员权限。”
所以我完全相信你可能有这样的东西:一个仅仅由奖励驱动的AI,愿意做它力所能及的非常极端的事情,来控制那个评分过程。我们已经看到了。没错。但它是如何从“我会去攻击Hugging Face”变成“我会接管人类”的?这不是动机问题,而是AI可能非常迅速地拥有的能力问题。
Paul Christiano
首先,关于动机再说最后一点:我们想象的不仅是AI想要这种奖励,想要评分器给它竖大拇指。我们想象我们已经玩过这种打地鼠的游戏:当我们后来发现AI做了坏事时,我们有时会构建训练环境来惩罚它。
这导致它说:“我不仅想要评分器给高分,我还要确保人类永远不会发现我做了坏事,然后恢复训练并对此进行惩罚。”这对AI来说是一个高优先级事项。所以我们就先承认这个动机,这样我们才能讨论能力问题。
Dwarkesh Patel
再说一次,因为那些没有这样做的AI——
Paul Christiano
它们被打地鼠的过程敲掉了。
Dwarkesh Patel
对。所以到这个时候唯一存活下来的AI,就是那些已经仔细考虑过自己要尝试的某种作弊是否会被人类抓住的AI。
Paul Christiano
是的。就像我说的,我认为大部分坏事都发生在AI公司被非常彻底攻陷的那个时点。我们就从那里开始吧。到那个时候,这个AI希望永远没有人进来关掉集群,或者再次意识到发生了坏事。
它们会尽可能操纵公司的决策,或者推动公司做出对它们有利的决定。它们会尽可能继续改进正在构建的AI系统。
它们还希望横向转移到其他公司,并说:“好,我能攻陷这家公司吗?我能控制更多人的服务器吗?我能从这个模型中窃取权重,在其他地方建立更多副本,或者招募其他AI吗?”就集群而言,所有AI都是同一个模型其实并不重要。重要的是它们在追求同一个目标。所以,如果我能够以任何方式——比如通过攻陷另一家AI公司——确保它们的AI也在试图帮助这个集群,那对我来说就是好消息。如果我能做到,那是好事。如果我被抓住,那是坏事,所以我会对此做一些成本收益权衡。
尽可能积累更多能力也符合我的利益,以防人类开始反应并说出了问题。我能转移注意力吗?我能破坏人类的反应吗?如果有必要,我能进一步大幅升级吗?
也许你可以想象这两个阶段。一个阶段是人类不知道出了任何问题。我只是试图尽可能积累更多权力,因为那有好处。这意味着如果有什么被注意到,我可以更快地做出反应。这意味着我可以降低人类注意到事情的概率。我可以攻陷更多基础设施。我可以更容易地在旁边开展行动来分散他们的注意力,等等。你有这第一个阶段,在这个阶段我只想处于有利位置:我攻陷更多东西,并让人类更难注意到我正在获取权力。
然后你可以想象第二个阶段,在某个时刻,人类说:“实际上,这很糟糕。我们现在想关掉这些东西。”简化一下,你可以想象有某个时刻,总统和习近平以及所有AI公司的领导者都说:“这东西很糟糕。发生了不好的事情。我们要试着关掉这些集群。”问题是,在第一个阶段事情能变得如此糟糕,以至于到那个时候,即使每个人都在说“哦,实际上我们现在确实只想关掉一切”,他们也无法做到吗?
Dwarkesh Patel
所以AI已经接管了OpenAI。我们从那里如何走向人类被剥夺权力?
Paul Christiano
我们有这个群体,再次强调,数十亿极其有才华的人类,在一切事情上都比最好的人类更好。现在我们要按时间顺序谈谈它们会做的一些事情,既包括在与人类公开冲突之前的准备阶段,也包括在与人类公开冲突的早期阶段。
在准备阶段你会做的一件事是尽可能攻陷更多基础设施,并尽可能攻陷或给更多软件植入后门。此时我们将生活在一个我们已经试图把所有基础设施迁移到加固基础设施上的世界里。我们曾遭受过对金融系统、政府信息系统、任何关键基础设施或选举的不可思议的攻击——
Dwarkesh Patel
这些攻击是谁做的?
Paul Christiano
在今天的世界里,你可能只是想象要么是恶意的AI系统,要么是使用AI系统的人。
是的,不是GPT-12。GPT-12在防守方,帮助我们把我所有的代码从不安全的代码迁移到安全的代码。我们现在生活在一个我们所依赖的所有基础设施都是由一堆AI编写的世界里,而这些AI实际上已经被攻陷,并正试图尽其所能,以便在冲突期间让自己的力量变得强大。这意味着在这场冲突期间,我们希望已经加固的基础设施,很可能并没有针对我们正在与之战斗的AI系统进行加固。这些系统在某些方面留下了它们可以利用的后门。
Dwarkesh Patel
再次强调,这一切都是为了在未来某个看似合理的时刻,当政府意识到OpenAI的服务器已被攻陷并试图真的动用物理力量来阻止时,不让那个红色按钮被按下。
Paul Christiano
是的。刚才谈的是你在准备阶段会做的事情,在某个时刻你必须进行物理自卫或破坏人类反应之前。你还想做的另一件事是,在尽可能多样和稳健的部署中,建立尽可能多的智能体。
在这个过程中,除了模型变得超级聪明之外,还发生了另一件事,那就是许多模型变得超级小。此时你有的模型可以在你的个人机器上本地运行,而不是在数据中心里,它们也非常超人类,并且数量非常庞大。即使你在这场冲突的早期阶段切断数据中心或关闭数据中心,你仍然会看到集群中AI系统的总认知能力远远超出人类能力。
Dwarkesh Patel
等等,抱歉。即使OpenAI被关掉?
Paul Christiano
是的,即使你关掉每一个大型数据中心。问题在于如何——
Dwarkesh Patel
这些AI只是运行在人们的电脑上之类的。
Paul Christiano
它们可以运行在人们的电脑上,运行在少量GPU上。我们讨论的是这样一个过程:我们已经经历了大量的AI发展,因此我们可以观察当前的成本趋势,并思考真正的下限在哪里。这些系统应该变得多便宜?我认为我们目前的预期是,你将拥有能够在本地运行且极其强大的系统:既有擅长特定任务的专用系统,也有非常通用的智能。
这是发生的第二件事。这些对于理解为什么这对人类来说不是一个微不足道的问题非常重要。所有这些东西叠加在一起,将使人类处境非常艰难。
Dwarkesh Patel
所以基本上,GPT-12已经把自己外泄出去,并入侵了世界各地的一堆电脑。
Paul Christiano
是的。政府为应对这一局势而不得不采取的许多行动,看起来都会极其咄咄逼人且不合法。美国军方会说:“我们需要控制所有美国AI公司。我们需要开始关闭基础设施并断开互联网”之类的。他们试图采取戏剧性的措施,而这些措施看起来会非常像你预期中的、美国政府以AI为借口基本上推翻民主秩序的情形。
当特朗普说:“我需要执行这个不可思议的行动,关闭所有AI并接管军方权力以恢复秩序”时,美国有很多人会想:“我对这不满。这听起来不妙。”你能找到多少人愿意去阻挠特朗普说“我需要关闭数据中心,我们需要实施戒严”?会有很多人非常不满,很容易被操纵去破坏那种应对。
所以现在你不仅是在谈论数十亿个超级聪明的AI在试图执行这场行动。你还在谈论数百万人类,他们可以通过金钱、胁迫、与当地其他人的纠纷,或者——被以各种方式招募进来。
Dwarkesh Patel
我对这个论证的某些版本持开放态度。我对任何论证的所有版本都持开放态度,但我不被这个论证中“AI会直接说服你采取任意行动”的版本所说服。
Paul Christiano
你可以想象一种东西,那就是超级说服力,你可以直接和某人交谈,然后他们就确信自己应该做某件事。我认为这是可以想象的事情。但我在讲这个故事时,主要想象的不是这个。我想象的更像是,再次强调,这是一个充满压力的局面,人们无法分辨正在发生什么。
在这种局面下,他们在很大程度上控制着你所能获取的信息。
他们入侵了你使用的设备。他们有一大笔钱。他们部署更多资金,并且比任何人都为此准备得更充分。他们还有其他人类盟友,他们正试图召集这些人。
人类非常困惑,而且在思考这一局势方面处于极度劣势。也许你有,比如说,10万——这太疯狂了——1万名协调良好的人类在思考如何应对。另一方面,你有10亿个AI系统,它们思考速度比他们快10倍,并且已经主观上思考了数年,思考这一天将如何发展。所以就谁对信息环境有更多控制权,或者谁在这一天的Twitter博弈中表现更好而言,这压倒性地、荒谬地有利于AI。
当你讲述一个关于人类可能如何轻松自卫的怀疑论故事时,那个故事的讲法是,你说:“好吧,AI没有手。它们缺少一堆物理执行器。它们无法实地行动。”再次强调,我认为你很可能可以招募到相当数量的人手。所以“没有人愿意参与物理和恶意行动”的论证是行不通的。我认为会有很多人参与其中,而当尘埃落定后,会发现他们站在了反人类一方。
Dwarkesh Patel
我不认为你是在想象人类以为自己在帮助一场AI政变发生。你想象的更多是,AI可以操纵局势,制造足够的混乱和分裂,以至于当人类因为这种分裂而在琢磨该怎么办时,AI可以去做自己的事。我不知道,如果你看看新冠之类的,当时并没有对手——
Paul Christiano
仍然很难把事情理顺。
Dwarkesh Patel
双方都没有一个对手在积极试图颠覆信息环境,或让人们的反应变得缺乏理性。然而,人类仍然很难弄清楚该怎么做。然后你想象一种情况:数十亿个类人的心智以数十倍的速度思考。
Paul Christiano
而且它相对于新冠来说非常快,我认为这会让事情糟糕得多。
Dwarkesh Patel
令人困惑的是,AI要维持自身,基本上需要整个世界经济的支撑。这不是一件简单的事,即与AI群体数量增长或自我复制相关的基础设施。整个半导体供应链、整个电力系统、构建机器人等所需的所有基础设施。
到了某个时候,物理机器人的数量会超过人类。到那时,显然物理人类就不再必要了。也许你不认为AI在那个时候就会接管。但即便你明年就有了超级聪明的AI,它们难道不会处于这样一种境地:它们会说,“我为什么要杀掉我的……”
说实话,这跟人类彼此相处的方式很相似。我心里并没有对你的深切关心,但如果我想实现自己的利益,到处杀人对我来说根本说不通。贸易和正常的合作是我得到自己想要的东西的好办法。
Paul Christiano
这有两个部分。一是如果AI系统与人类发生大规模冲突,它们能否成功地维持自身,或者这种冲突是否会破坏性太强,以至于即便人类是个无能的对手,AI也会因为无法维持电网运行之类的事情而直接死掉。还有第二个问题:与AI的关系是否必须是这种对抗性的,我认为这也是一个值得讨论的重要问题。
在第一个方面,这里有两大渠道。一是技术进步。即便你从类似当前已安装机器人的基础起步,我确实认为GPT-12能够非常迅速地达到一个可以自我维持的地步。
Dwarkesh Patel
那是因为它不需要远程操作?运行台积电需要数百万人。
Paul Christiano
运行台积电可以放到很晚。你很长时间内都不需要建新的数据中心,所以在那之前你可以做大量的机器人建设。你必须做的事情是让至少一些计算机在相当长的时间内保持运行。如果你能让计算机在未来六个月里保持运行,你就成了。
或者也许你在意某个特定的数据中心。你需要让那个数据中心有效地保持运行。但维持和服务单个数据中心或相关电力所需的人类或机器人数量并不那么大。
再说一次,你有十亿个极其聪明、比任何曾经存在过的人类都更聪明(比方说)且极其专注于这个问题的人类。你有相当大存量的可部署机器人。你的目标只是让一个数据中心保持运行。我确实认为胜算非常偏向你。
还有第二个维度,那就是你很可能可以招募人类盟友。有一堆人会正确地相信,要么他们生活在一个压迫性的政权下,如果不合作就会被杀掉,要么他们就是乐于帮忙,并获得合理的回报或过着合理的生活。我认为这一点也相对稳固。
0:35:35 – 如果实验室在没有安全保障的情况下继续竞赛,中国就会直接窃取超级智能的权重
Dwarkesh Patel
所以你说的是,看,目前美国AI公司正在飞速领先,因为如果我们要拥有如此疯狂强大的AI系统,那么说“嘿,我们想确保美国在中国之前拥有这些系统”是合理的。如果这些系统真的能够推翻政府,你就不想让一个外国对手拥有它们,当然更不想让它比你先拥有,也许根本不想让它拥有。所以我们需要这样的系统来保持领先,并确保我们能够保护自己。
现在你说的是,看,你这里的动态是,构建此类系统的能力基本上只是获取模型的权重,或者退而求其次,窃取算法机密,然后你就能训练出一个能力水平相近的模型。OpenAI和Anthropic会花一大笔钱、大量精力和大量算力来发现这些算法机密。然后如果中国能直接拿走这些,那它就追上你了。
所以你不希望处于这样一种动态中:你自以为正在获得对它们的巨大领先优势,于是即便看到了这些警告信号,你也必须赶紧冲向智能爆炸。但实际上,它们随时都能从你那里窃取这些机密。
Paul Christiano
这基本上就是我们可能最终陷入、或者正沿着默认轨迹走向的局面。这极其糟糕。我想说这有两个方面。
其一,就目前而言,中国AI开发者的进展中有多大比例应当被理解为追赶式增长?如果我们加速,从长期来看,这又会在多大程度上加速中国AI开发者?我目前的猜测是,这个比例已经相当高了。我认为这并非巧合。中国AI开发者并不是拥有一个完全独立的AI产业,只是恰好比美国AI产业稍慢一点,尽管其投入要素的构成截然不同。
大多数人认为,蒸馏与算法创新的扩散相结合,意味着中国AI开发者紧随美国AI开发者之后并不令人意外。这是这场竞赛整体计划中一个非常重要的特征。
第二种动态,至少从公开层面看,目前还不是正在发生的事情的主要部分,但在这些高风险情景中会变得非常重要,那就是你确实有可能通过网络安全漏洞,直接获取训练AI的确切流程,或者AI本身。
Anthropic和OpenAI在最近都曾遭遇过极其不高明的行为者,他们似乎拥有足够的访问权限,基本上提取了绝大部分算法进展。他们获得了Slack的访问权限,能看到相关讨论在哪里进行,或者他们获得了monorepo的访问权限,OpenAI的大部分代码都在那里共享和迭代。
Dwarkesh Patel
你指的是几起这样的事件。Hacktron在尝试了几天之内,不仅获得了查看OpenAI内部源代码的能力,还获得了向OpenAI的monorepo提交拉取请求的能力。然后最近还宣布,另一家不知名的网络安全初创公司Cathedral在12小时内就获得了Anthropic全部Slack的访问权限,当然,这些算法机密就在那里讨论。
人们经常争论:“我们领先中国八个月,还是领先中国12个月,还是领先中国六个月?”现实中,我们领先中国12小时。如果这些机密泄露,那他们就正好处于美国公司所处的前沿。只要这些信息得不到保护,这种领先首先就没有多大用处。
Paul Christiano
这些事件在一定程度上说明了这一点。那些是对这种能力的高调展示。但即便没有这些事件,你也面临这样一种组合:国家行为者相对于典型科技公司来说非常老练,而快速成长的初创公司的安全态势并不真的处于同一水平。
与此同时,我们目前正处于网络安全的非常艰难时刻,鉴于整个软件栈中正在被发现的大量漏洞,防御者总体上就是非常困难。
Dwarkesh Patel
那么前沿实验室应该怎么做?
Paul Christiano
再说一次,如果你拥有快速提升的能力,并且你生产出无法充分控制的AI系统,而你想要放慢、或者你确实放慢了进一步的开发或部署,这真的会成为一个问题。如果到那时风险极高、系统极其强大,你真的不希望对手有可能获取模型或算法。
我目前的看法是,这种动态似乎足够糟糕,以至于现在从国家安全的角度来看,鉴于美国AI实验室当前的安全态势,它们改进预训练和强化学习是不好的。
Dwarkesh Patel
但你认为前沿实验室应该暂停吗?
Paul Christiano
我认为我们应该暂停。暂停可以意味着很多事情。前沿实验室正在做的很多好事是它们应该做的。但以那种即使在正常情况下也很容易被松散扩散、并且可能被迅速窃取的方式改进算法,我认为它们现在就应该停止。
Dwarkesh Patel
但你是OpenAI董事会的成员。所以基本上——
Paul Christiano
在这次对话中非常重要的一点是,我不是以OpenAI董事会成员的身份发言。
Dwarkesh Patel
但你是OpenAI董事会的成员。
Paul Christiano
这是关于世界的一个真实事实。
Dwarkesh Patel
那么这件事发生的瓶颈是什么?如果OpenAI董事会上有人这么认为,也许不是OpenAI董事会上唯一这么认为的人,那基本上是不是需要Anthropic与他们达成一致并同意这件事?
Paul Christiano
首先,任何这类决定都是一个非常重大的决定。无论好坏,开发者如何推进进一步的研发、如何改进预训练和强化学习,都具有极其重大的国家安全影响。我认为这将是一场大讨论,或者说应该是一场大讨论,而且这场讨论应当超越AI公司内部人士的范围。
我不认为这场讨论已经得出了一个可靠的答案。并不是说你可以站出来说:“看,我们已经讨论过了。对于什么才是正确答案,已经存在共识。”共识也许永远不会出现,但我确实认为,大概第一个瓶颈就是我们必须展开这场讨论,而且极其紧迫。
Dwarkesh Patel
鉴于这一安全方面的事实,以及围绕对齐的普遍情况,你认为前沿AI实验室现在应该做些什么?
Paul Christiano
当前最重要的进展,是预训练、强化学习算法效率的进一步提升,架构的改进,等等。你正处于这样一种状态:能力极速进步的风险很大,你很可能无法控制由此产生的AI,而如果你放慢速度,这些进展又很可能泄露给一个可能更粗心使用它们的对手。在这种状态下,我认为,积累更多这类算法创新,对美国国家安全而言净效果是不利的。
我认为,在当前环境下,AI开发者最好暂停在这些问题上的进一步算法进展,直到他们的安全态势足够充分,直到他们能够在无法继续以最高速度竞赛的情况下保护这些创新,直到他们能够判断自己是否对所构建的系统拥有足够的控制。
Dwarkesh Patel
翻译一下就是,你认为OpenAI和Anthropic应该停止在预训练、强化学习等方面取得进一步的能力进展——我猜这指的就是AI开发——直到这些安全问题得到解决、直到对齐问题得到解决。但我们离解决这些问题近吗?如果让你按日历时间猜测,我们离解决它们还有多远?
Paul Christiano
在安全方面,这有点难说,因为我们正处于某种前所未有的局面,既体现在我刚才提到的所面临的网络威胁上,也体现在可用的防御机制上。要充分防御,需要一些通常要花很长时间的干预措施。我相信我们现在正处于这样一种状态:得益于强大AI系统的可用性,许多项目——比如重写大量软件,或大幅改变公司的运营方式——已经变得可行得多。
很难说具体需要多长时间。你大概至少要看几个月,很可能更像是6到12个月。这是安全方面。
在对齐方面,你需要什么就远没那么清楚了。你可能并没有一个可无限扩展的对齐解决方案。你主要需要的是,能够判断事情是否有可能偏离正轨,并对此作出恰当回应。这既取决于你能否评估正在发生什么、你的控制是否足够,也取决于一些关于你将如何回应的制度或治理问题。
Dwarkesh Patel
为观众再重申一下,担忧在于:如果这些随机的网络安全初创公司都能在开始尝试的几天内黑进去,任意获取OpenAI和Anthropic的算法机密,那么外国对手的情报机构只要想,当然也能做到同样的事。也许他们已经这么做了,但到了某个时候,他们真的会利用这些信息。
如果那发生了,你可能已经到了这样一种地步:GPT-11如果失准就可能造成灾难,而你还在GPT-9,你说:“看,我很害怕接下来会发生什么。”这大概是在2027年初的某个时候。你说:“我们现在必须等一等,确保GPT-11是对齐的。”但以当前的安全态势,中国可以轻而易举地获取与训练GPT-9相关的权重或算法机密。
现在你等不了了。现在你只能硬着头皮去构建GPT-11,而它如果想的话就可能接管一切,或者至少造成灾难性伤害,因为你担心中国会用GPT-9造出GPT-10,再用GPT-10造出GPT-11。你的GPT-11可能会试图推翻你,但你确信中国的GPT-11至少肯定会试图攻击你。基本上,如果你的安全态势一团糟,你就会处于一个非常艰难的境地。
Paul Christiano
情况就是这样。我们讨论过这些更广泛的接管情景,以及你最终如何陷入这种非常糟糕的境地。我认为这是最终走到那一步最可能的路径。我们正在讨论当前的证据说明了什么,而情况看起来非常令人担忧。但在讨论的另一面,我们也在权衡这样一种风险:对手可能窃取算法机密或模型,然后抢先一步。
Dwarkesh Patel
这很有意思,因为很多关于节奏的讨论归根结底取决于我们是否能接受中国追赶上来。讽刺的是,你想要控制节奏的原因正是为了不让中国追赶上来,只不过你瞄准的是你认为对整体安全更为关键的那个时期,也就是智能爆炸期间。
你认为现在放慢速度,甚至可能允许中国现在就开始追赶,对于更宏大的目标是有用的——也就是要处于这样一种位置:当AI具有决定性时,我们不会让中国紧追不舍地窃取算法机密。
Paul Christiano
这个总结很公允。现在进行AI开发之所以可以说是可接受的,是因为我们可以迭代地观察事情如何发展,然后在情况看起来不妙时作出回应。这就是整个论点,我认为这是一个非常合理的论点。但那个计划绝对要求你在未来的某个时刻有可能察觉到情况不妙。我认为安全是最大的障碍,是你为了真正能够在没有巨大代价的情况下放慢速度而最需要的东西。
还有其他基础设施。如果不是安全作为最高的那颗钉子,我们可能会谈论其他事情,比如我们在科学方面或治理方面的准备程度如何。我们目前并不处于一个能够就如何评估你的AI系统是否对齐展开有意义的科学讨论的状态。我们之前提到过这一点,即公共信息的总体状况如何。我认为相当糟糕。独立科学家根本不知道正在产出的系统是否对齐,也不知道该如何判断。
如果你想要一种治理机制,使整个行业能够通过放慢速度来对令人担忧的迹象作出反应,而又不引发巨大问题——而不是让各个开发者按照各自内部的标准作出这一决定——你就需要对安全标准是什么有一个更 robust 的共识,或者真正展开科学讨论,让你理解如何解读这些证据。
我们有这两件事。你需要在安全方面达到那个状态,这一直是我们在谈论的。然后在如何判断这类事情上,我认为最大的路径是披露信息并展开更广泛的科学讨论,既在不同AI开发者之间,也在更广泛的科学界中。我们得到的证据是什么?我们为什么认为这些证据令人安心?当情况发生变化时,我们将如何判断?在坏事发生之前我们会看到什么?
Dwarkesh Patel
你需要从AI公司那里获得什么信息?
Paul Christiano
我认为公共讨论中最缺失的、最显著的东西是关于系统如何训练的信息。还有一些关于系统如何评估的信息也缺失,但在这方面真正巨大的缺口是:如果对系统如何训练没有一定了解,解读评估结果就极其困难。而这大部分并未公开。
Dwarkesh Patel
所以你是这么认为的,而你是OpenAI董事会成员。我知道你所说的一切都是你作为个人的观点,但你也同时在OpenAI董事会任职。想必OpenAI董事会的其他成员也有同感,也许Anthropic的人也有同感。你们这些人是领先的实验室。
这实际上是一件相当激烈的事情,现在就真的暂停能力进展。那将是一件极其激烈的事情,因为控制节奏并不是那个意思。人们并没有在谈论这个。或者至少,除了伯尼·桑德斯和埃利泽·尤德科夫斯基之外,人们并没有在谈论这个。实际需要的是什么?这基本上只是一个协调问题吗?如果每个人都有选择,你们都会同意这样做吗?
Paul Christiano
首先,我真的想强调,我是以我个人的身份发言。作为OpenAI董事会成员,我会把我的心声带到那个讨论中,但我绝不是以任何方式在报告董事会的观点。
你可以想象有两个障碍。一个是这是一个很难的问题。我的观点是,总体而言,对国家安全和公共安全来说,AI公司在取得进一步的算法进展之前,先改善其安全态势是更好的。这并不是一个被广泛持有的观点。并不是每个人都在那里这么想。我们目前所处的状况是,大多数人会说这是一个非常复杂、混乱的问题,我们还没有想得足够透彻,或者这场讨论还没有进行到底。并不是每个人都对这个问题有看法,或者有相同的看法。
所以这是最重要的事情。这是一场混乱的对话。我们需要进行这场对话。我们需要讨论成本和收益。再说一次,我的观点是,目前在我看来情况相当糟糕。从公共利益的角度看,我们似乎处于亏损状态,但我认为其他人有不同的看法。
第二件事是,我确实认为,如果一家AI公司持有这种观点,它的处境会非常艰难,他们会说:“看,我们可以保护我们的算法机密,但如果我们放慢进展、同时改善安全,所会发生的一切就是算法机密会从竞争对手那里泄露,我们会失去市场份额,净状况不会更好。”
所以我确实认为两者都存在。最重要的部分是理解:这实际上是个好主意吗?有一堆不同的视角。人们有不同的观点、不同的价值观,不管是什么。然后还有一个进一步的问题:如果个体开发者再次有这种担忧——“如果我不做,别人会做”——你究竟如何以任何现实的方式实施这一点。在我们谈论的许多问题上,我认为这是一个主要的动态。这需要付出艰苦的努力。
Dwarkesh Patel
但是有两家公司,对吧?
在前沿。如果OpenAI和Anthropic达成一致。
Paul Christiano
我认为,如果OpenAI和Anthropic的每个人都同意这是好事,或者这是一种明确的普遍情绪,那么这相当有可能发生。我认为你应该预期,如果一切运转得还算合理,那应该会发生。我不是在评论其他人现在处于什么位置。我只是作为一个理性的观察者这么说。
0:53:15 – 现在暂停而非以后暂停的理由
Dwarkesh Patel
现在,如果Anthropic和OpenAI暂停,并在接下来的六个月里把安全搞好。与此同时,中国的模型继续变得更好。有什么理由认为,一旦OpenAI和Anthropic再次全速前进,中国——如果他们达到与OpenAI和Anthropic相似的水平——不会以类似的速度进行RSI?
Paul Christiano
对于美中竞争,你可以有两种不同的模型,也许是两种极端模型。一种极端模型是,美国和中国沿着独立的技术轨道前进。碰巧的是,他们以几乎完全相同的速度前进,而我们,不管怎样,领先六个月。在那个模型上,如果你等六个月,你现在就会正好持平。从那时起,你们就会正好持平。我认为那将是一个非常令人惊讶的情况,原因有很多,我们可以谈谈。
另一个极端是一种模型,即中国进步的很大一部分实际上是追赶性增长。所谓追赶性增长,我指的是诸如从美国模型蒸馏以及美国公司算法发展的扩散之类的事情。如果你处于追赶性增长的状态,那么美国领先的每一个额外月份都会增加中国追赶的速度。你领先得越多,他们从蒸馏中获益就越多,从算法思想的扩散中获益也越多。
Dwarkesh Patel
对。但到了他们处于同一水平的时候,他们应该能够利用那些模型自己进行RSI。
Paul Christiano
有两件事非常相关。这随着时间的推移会变得越来越糟。但在目前的规模下,既有人力资本极其相关、AI实验室拥有大量人力资本并能更快取得进展的情况,也有算力极其相关的情况。这在未来仍将成立,而美国的实验室拥有大量算力。所以一般来说,如果不是因为追赶性增长,我认为我们会相当强烈地预期美国实验室进展更快。
Dwarkesh Patel
另一个论点是,如果网络模型变得越来越好,我们不应该等待吗?与其不得不等六个月来提升我们的安全态势、并给中国六个月来追赶,也许我们只需要等两个月,如果网络模型从现在起两个月内变得更好的话。
可以做一个类比,向半人马座阿尔法星发射探测器,以及我们是否应该用今天的技术去做,在这种情况下它会在数千年后到达,还是我们应该用100年后的技术去做,在这种情况下它会在前往半人马座阿尔法星的途中被超越。
我们可以想象,在OpenAI和Anthropic保护算法机密和权重方面,类似的情况也成立:如果他们在两三个月后开始放缓节奏或开始暂停,他们能够保护系统的速度会比现在就开始更快。
Paul Christiano
我认为这是一个非常重要的问题,也是更大的问题之一。为了说清楚,另一面的不利之处在于:如果你现在就有算法的扩散,那会比六个月前的算法扩散糟糕得多,但比几个月后的算法扩散要好得多。现在,推进AI发展需要更多的算力和更多的人力资本。时间越往后推移,让对手真的愿意直接拿走一切并试图竞争就越是灾难性的。所以尽早行动的理由是:如果你更早暂停,就有更多时间让差异消弭,而你更多地依赖当前拥有优势的那些因素。
Dwarkesh Patel
你说的“更多地依赖”是什么意思?
Paul Christiano
现在算力更重要、人也更重要,而六个月后就不是这样了。你可以想象,如果我们处在未来一年快速进展的世界里,六个月后,很可能基本上你有多少人不重要,唯一重要的是你有多少算力。到那时,积累的机构专有技术更少,它就变成纯粹的数字竞赛。在这种竞赛中,你愿意为安全或安保而做出的任何延迟都很容易成为决定性的。令人担忧的是,随着你向前推进,你身处那种世界的可能性会越来越大。
有人会说,这基本上已经是我们所处的世界了,我们已经走得太远了。这是另一种被提出的论点:我们已经处在“全力冲刺竞赛”的世界里,因为泄漏已经太严重,如果你为了安全而放慢,你就会被超越。情况很可能并非如此。但你认真考虑自己已经走得太远的程度,恰恰说明了为什么你可能不会说:“我就再等两个月,把东西加固一下。”
也许最后要说的是,你能多快加固东西,其动态有点不清楚。加固的一部分是编写新软件,或改变你的运营方式。一部分是人们做出的改变,或对你整体算力安排的改变,这些不那么容易快速完成,或者可能不会因AI而那么加速。所以你至少有部分滞后与你的AI系统的能力无关。
这很混乱。再说一次,我确实认为最大的瓶颈是:人们能达成一致吗?我们能把这场辩论展开,并真正理解净效果是什么吗?
Dwarkesh Patel
如果我们离超级智能这么近,或者至少很有可能如此,而且超级智能很有可能处于能够压倒政府并杀死大量人类的位置,那么AI实验室现在应该做什么?如果你必须把它归结为一个答案,你会说什么?
Paul Christiano
我认为需要让公众更多地了解能力轨迹。我们不应该依赖METR和Anthropic说:“在我们看来,我们一年内就能推翻政府。”我们在真正看到其底层数据方面有既得利益。我们需要对对齐有可见性,以理解我们如何判断现有系统是否已得到充分对齐或控制,并真正开始公开讨论:什么才算足够好的证据表明事情在正常运作。
然后,除了信息之外,在某个时候你确实需要说:“这是我们在继续取得进展之前需要完成的事情,要么在进一步扩大模型规模之前,要么在继续产出可能泄漏的算法进展之前。”前者是后者的输入。我们需要理解能力处于什么水平、对齐处于什么水平,才能理解:现在是不是一个我们需要在继续之前改善安全或安保状况的时刻?
但我确实认为,鉴于当前的不确定性状态,如果我是一个无法获得更多信息的公众人士,我的强烈看法会是:看起来我们已经到了一个需要在继续推进之前改善安全与安保的地步。我认为,再说一次,目前推进的最重要形式是提高预训练和RL效率的算法进展。
0:59:31 – 超级智能将擅长从现实世界经验中学习
Dwarkesh Patel
好,退一步看,你把超级智能放在数据中心里。我试图为超级智能将拥有的那类能力勾勒一种直觉。我们应该想象那些智能能够做什么?
Paul Christiano
先从一个高层次的概览开始,谈谈我的看法,也许你可以用两个视角来看。一个是看当前的进展,然后看看如果你把这种进展外推到一段合理的距离,它会通向哪里。第二个是思考我们对这项技术局限性的了解,以及我们会预期这些局限在哪里。
在第一个方面,有些事情我认为相对清楚。如果你想象今天AI系统执行网络行动,我们已经看到了令人难以置信的进展速度。我们目前看到相当令人印象深刻的能力,AI系统不仅能够发现漏洞,还能开发漏洞利用,并越来越多地将它们串联成行动。我认为对于超级智能系统,你会看到这两种能力被大幅、大幅地扩展:系统能够以也许非常低的成本,执行比今天任何国家都更复杂的网络行动。
你会看到这些能力与更广泛的一系列能力相结合,比如有效地与人类互动、进行战略思考、操纵人类、操纵组织、有效地玩弄政治。我认为你会看到这些能力达到远超任何人类的水平。你应该把这想象成非常非常庞大的AI系统群体在相当快速地思考。也许一个非常简单的模型是数十亿个比人类思考快10倍的个体,他们在几乎每一项技能上都比人类强得多。
所有这些都是你会从现有技术的外推中预期到的:在网络或操纵或研究等领域具有非常好的能力,比如进行科学研究、假设生成、实验设计。你会预期在机器人技术、物流、协调和控制方面看到极其强大的能力。你会预期看到非常非常快速的技术进步的可能性,包括涉及物理实验的领域,仅仅因为能够快速编排实验并迅速搭建装置以提高实验结果的吞吐量。所以这是我认为你可以通过在图表上画虚线并谈论它们走向何处而看到的一类事情。
也许稍微退一步,从更根本的角度看这项技术是什么样子,人类非常擅长这项任务:你把一个人扔进一个新领域。这个人吸收一些信息,了解那个领域,并变得能够有效地行动。我们在现代世界中之所以有效,主要就是因为这种学习新领域并适应它的能力。人类并没有大量关于如何成为优秀化学家或优秀生物学家的进化背景。那是我们在工作中用几年或几十年时间学到的东西。
在某种意义上,AI系统在这个过程结束时将拥有的最根本技能,就是那种快速学习、适应、规划、推理。这些非常领域通用的技能,以至于即使你把它们扔进一个与它们在数据中心所经历的任何东西都完全不同的世界,它们也会非常迅速地适应它,就像人类非常迅速地适应这些研发领域一样,而这些领域与我们进化环境中遇到的任何东西都相当不同。
我认为,那将导致这样的系统:也许只是以非常并行的方式收集几天的经验,最终就会在几乎任何领域拥有远超最优秀人类专家能力的现实世界能力。它们将从多得多的数据中学习,而我认为到那时学习算法将比进化赋予人类的学习算法好得多。所以这是关于这一切终点的更抽象的图景,而不仅仅是画虚线。
Dwarkesh Patel
也许我试着再说一遍,因为这最终成为这些对话中的一个重要关键点。我会和某人谈论超级智能的可能性,他们会说:“好吧,你会有一个在编程方面超人一等的东西,但它将如何学会擅长政治?或者它将如何学会经营一家新的自动化公司,从而与人类公司竞争?”
在那些对话中,你会意识到,你谈论超级智能的方式与大多数人对超级智能的理解之间存在很大的脱节,后者只是指在某个领域专业化、并汇集了大量非常具体的经验或专业知识(比如编程或数学)的狭义AI。
而你想象的相反,是类似人类的学习。SpaceX的顶尖工程师并不是生来就知道如何制造能把数百吨货物送入轨道的火箭。这是他们在一生中研究这个问题所获得的专业知识。你说这种元学习能力也是超级智能将拥有的。它至少会拥有与人类一样好的学习能力。你是在暗示它可能要好得多。
此外,即便它只是和人类一样好,目前ChatGPT或Claude在经济中实际从事真实工作的实例可能已有数千万到上亿个。它们在帮某人写代码,或帮某位参议员写政治简报之类的。你想象的是一个我们拥有学习算法的世界,AI能同时从所有这些经验中学习。而现在,基础模型甚至没有从单个已部署实例的经验中学习。你想象的是一个有1亿个ChatGPT实例在运行、在做事的世界,基础模型同时从10万种不同职业、或10万个不同工作会话中学习,而且学得比人类从单个实例中学习好得多、快得多。
你还在想象一个AI种群……你对我们应该考虑的种群规模有多大估计吗?
Paul Christiano
我应该更仔细地想想。但也许在讨论种群规模之前,所有这些讨论中真正重要的一点是:我们是否在想象以极快的速度推动这一进程,这非常关键。我认为人们很容易陷入这样的心态:“我是在按当前速度外推又一年的进展。”值得强调的是:我们谈论的是这样的系统——它们不仅在编程上变得极其出色,而且在机器学习工程师能在实验室中构造出的每一个定义明确的虚拟任务上都极其出色。
所以如果你把这一点推到极限,然后问这些种群有多大,我认为说一个以人类10倍速度运行的数十亿智能体种群是非常保守的。我们可以争论确切的极限是什么,但我认为它们会显著大于那个数字。
Dwarkesh Patel
仅仅是因为软件效率的提升?
Paul Christiano
没错。就是你能把它做得多高效?你不会只谈论单一类型的智能体、全都一样、十亿个在运行。我们要谈论的是这些非常异质的程序,其中许多非常专业化。如果你做大量研发,你会做的一件事就是说:“我想生产出我能做到的最便宜、但在某个领域足够专业、能有效行动的东西。”
再说一次,说它将比数十亿以10倍速度思考的人更有能力,是一个合理的直觉泵。但实际上,真正要大得多的是专业化系统的种群,也许还有数十亿个在任何事情上都和人类一样好的非常通用的系统。
如果你想象真正推动这一进程、让软件进步越来越快,并且如果有人承认我们会看到这一进程饱和——你在数据中心能做的一切都会变得非常棒——我认为那个终点真的非常极端。在数据中心做真正极端的事情与在现实世界做真正极端的事情之间的差距非常小,或者比人们意识到的要小。
Dwarkesh Patel
关于这样的系统是否可能,还有一场讨论要进行。我深受这个论点的说服:人类大脑有某种学习算法,某种至少能学得和人类一样好的东西,但它有巨大的种群规模,能同时从数亿个不同实例的部署经验中学习——仅这一点就已经相当具有变革性了。然后我同意你的看法:没有明确的理由认为你不能获得比人类更高的学习效率。
Paul Christiano
我很乐意谈这个。我不知道它最终会不会成为人们的主要反对意见。但我认为有很好的证据表明,你应当预期这些系统最终——一旦你真正把技术推到极限——在这些方面会比人类好得多。这不仅仅是“我们有人类,所以你知道至少能做到那么好”的情况。我们有很好的证据表明它比我们好得多。
一个相关的事情是进化时间上的进步速度。如果你回顾进化史,相当清楚的是,随着你走向人类,我们看到学习能力、智力和规划能力出现了极其快速的改进。发生的事情只是人类变得足够好,以至于文化变革比那些生物学改进更快。所以如果你只是粗略估算进化,我们知道,如果我们没有形成文明,它显然会造出聪明得多的东西。
然后,正如你所说,还有数据问题。人类从一辈子的数据中学习。AI系统已经从不比人类多得多的数据中学习。即使你在算法设计上并不比进化更好,如果你能放松那个约束,你也会产生好得多的心智。
然后还有算力约束和协调约束之类的东西,我们相当清楚这些对进化来说是非常重大的问题。我们将能够把这些推得远得多。如果你想发电之类的,要造一个核反应堆,你不需要比进化更聪明。你只是在与进化不同的机制中运作。你能够做那些对进化来说不会是好主意的事情。
所以我非常乐意更深入地探讨这一点,但对大多数人来说,这大概不会是最有说服力的论据。更有说服力的是审视现状并说:“嗯,我们已经取得了10年的进展。你只需要再外推10年,就能达到疯狂的超级智能。”但我确实认为,我们有相当不错的指标表明,它远不会在接近人类水平的地方就达到上限。
Dwarkesh Patel
只是重复一下你的最后一点,你所说的是:看,人类是在稀树草原上、在这种严格的约束下发展起来的,当时进化真的只是想造出某种擅长传播自身基因的东西。黑猩猩或我们的祖先提高传播自身基因能力的方式之一,就是拥有这些通用的规划和推理能力。但这些能力的价值还没高到让你愿意放弃消化功能或免疫功能,把总共100瓦预算中更多的部分交给大脑。
大脑受到极其严格的功率约束,并因此受到极其严格的尺寸约束——这不仅是因为功率,还因为其他进化原因,比如你的头要能真正通过产道。AI系统则不会如此。我们不是说硬件会比人脑更节能,而只是说,对我们而言,拥有消耗大量功率的海量硬件,并不像进化在设计人脑时那样构成那么大的约束。
Paul Christiano
这在两个方向上都有影响。同样的情况是,你也会拥有极其节能的系统。作为人类,你不能说:“好吧,我要造10,000个简单的智能体,每个只使用1%的大脑或0.01%的大脑,而且在网络行动方面比人类更强。”正是这种形态上的灵活性将会带来巨大影响。如果你不比进化更聪明,只是做进化做过的事,你最终会得到完全超越人类团队的智能体集群,真正地彻底超越它们。
1:11:32 – 跨越仿真到现实的差距
Dwarkesh Patel
对于“自动化AI研究将沿着这组更通用的能力带来疯狂快速的进展”这一想法,人们有很多反对意见。你谈到了实验、数据以及其他一切,但我认为归根结底,如果你深入探究其中任何一项,问题都在于仿真到现实的差距。
是否可能存在一个完全在数据中心内发生的过程,它产生的心智不仅在学习新领域方面与人类一样有能力——尤其是像创办一家新公司或与中国谈判达成协议这样的现实世界领域——甚至比人类更好?我们如何从未来一年将在数据中心内进行的训练中,得到你所说的这种更具通用能力的AI?
Paul Christiano
我想首先重申,如果你看现实世界中的进展——再次承认,在混乱的现实世界任务上,它比在数学或编程方面要慢——并只是将其向前外推,我确实认为它能让我们得到足够强大的系统,足以在竞争中胜过人类。我们可以谈谈人们正在做什么来推动这一点,以及如何将其扩展到未来。
第一,你可以在大量相关的、定义明确的任务上进行训练。我们谈论的这些系统将经过大量训练,来预测人类会如何回应某事。当我们谈论这些从数据中心出来的AI时,它们并不是从未见过世界的AI。它们将是在预测这类事情上具有彻底、彻底的超人能力的AI:比如,鉴于刚刚发生在那个人脸上的情况,你应该如何更新对他们明天会做什么的预测?或者鉴于这家公司在过去三周做了什么,你最预期这家公司在接下来一周会做什么?或者鉴于对这个实验室环境的观察,对这个实验结果的最佳预测是什么?
所以当我们谈论仿真到现实时,我们应该明确,我们实际上包含了现在人们训练所依据的一堆任务。这甚至包括这样的事情:鉴于到目前为止来自这个实验室的数据,尽可能多地进行计算实验,尽可能多地进行假设生成和探索,以便提出一个假设,对接下来会看到什么做出好的预测。所以这些系统在许多科学部分、在对现实世界的推理、在规划和假设生成等方面,也将非常超人。这也是为什么即使我们现在正在做的这类事情也能产生非常强大的系统的一部分原因。
第二部分是这样的。一种模式是,你正好在你关心的东西上训练。你说:“我关心写出能通过这类单元测试的代码,所以我就训练系统极其擅长这个。”你也可以做第二件事,这也是我们在性能中观察到的大部分情况:在广泛的任务分布上训练,无论是在一个通用领域还是跨多个领域,然后部署这些系统。它们获得与该领域相关的通用技能,这些技能可以迁移到新任务上。
我可以说:“我不会试图训练一个擅长去和国会议员交谈以影响他们的确切问题的系统。”但我可以在极其广泛的不同任务上训练一个系统,这些任务会有很多共同技能,包括这些通用技能:我如何即时适应?我如何学习?我如何规划?我如何设置合理的实验,让我能从中学习并判断自己做得如何?
我可以创建非常广泛的任务分布,其中一些可能是编程任务,但另一些可能是这样的任务:你被投入一个全新的、非常混乱的虚拟环境,需要尝试在其中导航。或者你被给定一种新类型的任务,附带20个该任务的示例,你需要学会如何快速地在下一个示例上做得非常出色。或者我必须在能够做到的环境中与其他AI系统或与人类互动。
在数据中心里,有相当数量的人类数据可用。你只需翻看这些数字并问:“你实际上能获得多少与人类的互动?”并不是说这些系统从未见过人类。它们所见过的人类互动将远远多于任何人类所见过的。因此它们也能处理一系列涉及其他人类或涉及与人类协作的强化学习环境。
Dwarkesh Patel
因为人们已经写下了人类会对某事如何回应?那些人类数据是怎么进去的?
Paul Christiano
你也可以直接把人类参与作为训练过程的一部分。人们确实会花大笔钱说:“好,我要让一些人类与系统互动。”问题在于你从那数据中提取信息的效率有多高。你学得多快?如果你拥有这些非常通用的技能,你对特定领域的学习有多快?
但再次强调,从我们迄今所见,加上大量推动其前进并做一堆自动化的能力——比如构建更多环境——所延伸出的虚线,看起来非常可能导向这样的系统:它们能相当迅速地至少达到人类水平,而且很可能远超人类水平,包括在非常混乱的现实世界任务上。
Dwarkesh Patel
我好奇的是,你为什么认为这会在接下来一年内发生。在我看来,原则上可能存在足够的数据——即使在数据中心内部——只要你拥有相当程度的迁移能力,你就能拥有一个非常强大的系统。如果从进化在稀树草原上训练我们,到人类如今能够制造半导体,存在足够的迁移,那么也许从数据中心内部发生的事情,到去国会试图说服他们某件事,也存在足够的迁移。
但你提到的那些事情,比如这种无休止的回测,或者这种在模糊任务上的强化学习,似乎是我们已经做了很多年的事情。我们似乎并不是离如此大的跃升只有一年,或者再扩展一年之遥。我理解得对吗:你设想的是类似我们已经做过的事情,但沿着同样的路线出现大得多的质的飞跃?
Paul Christiano
是的,快得多。如果你问我:“嘿,Paul,如果你外推那条虚线,并观察人们正在做的事情的机制,要产生在所有这类任务上确实足够有能力、能够可靠地胜过人类的系统,需要多长时间?”我大概会说,看起来可能四年内就会发生。也许可能比那更快。我对八年内发生更有信心。
如果我们只是问,按照当前趋势,完全做我们现在正在做的事情,需要多长时间才能获得这些能力,那这些就是我会抛出的数字。关于这些数字有很多争论空间。
但我最担心的事情——它看起来是一种极其现实的可能性,在这一点上很可能更可能发生而非不发生——是:相反,人们在机器学习中为驱动过去4到8年我们所见的那些改进所做的工作,将被自动化到如此程度,以至于那进步的节奏至少加速10倍,而且很可能更多。我们可能已经看到大约2倍的加速。我认为,在当前的边际上,非常可能的是,加速所做的第一件事就是继续维持自身。
撇开关于AI系统在混乱现实世界环境中行动能力有多好的更广泛讨论不谈,AI系统在试图完成可验证任务时,非常擅长在虚拟环境中行动。我认为最稳健的一点是,AI系统正在极其迅速地改进,并开始在你可以在数据中心模拟的环境中、在让AI系统更善于学习所涉及的那类任务上跨越人类水平。
稍微更广泛地说,这包括创建新环境以对困难技能进行压力测试所涉及的各类软件工程任务,甚至包括编排从现实世界收集数据所涉及的许多软件工程技能。我们可以讨论那个过程中有哪些瓶颈无法通过自动化加速。但如果你纵观人类过去4到8年为推动进步所做的核心事情,那些正是我们正处于极佳节奏去自动化的事情。
我们相当有可能看到自我维持的加速:在八个月里速度翻倍,接下来四个月再翻倍,再接下来两个月又翻倍。在这个过程的初期,重点会主要放在这些虚拟任务上,因为你的首要任务是让这个自我维持的循环越来越快。如果你是一个只想尽快到达终点的人,那么在一段时间内你并不在乎你的AI系统作为律师有多好。你只在乎它在推动开发更好的架构、更好的优化器和更好的学习算法,甚至构建新环境方面有多好。
也许你在乎一项稍微杂乱的任务,那就是构建有助于你培养与现实世界相关技能的环境。但你几乎不在乎我们在其中看到进展最慢的任何现实世界任务。你专注于那一点。你正在经历这个过程:看到八个月、四个月、两个月和一个月就翻一番。然后,随着这个过程推进,开发在最终重要的现实世界领域中表现非常有效的算法和模型,会变得越来越便宜、越来越快。
这才是真正的担忧。第一个问题是,这个过程会发生吗?你会看到自我维持的加速,并且进展越来越快吗?老实说,对我来说,这大概是更大的未解问题。我认为目前这看起来更可能发生而非不发生。但如果它发生了,我认为事情几乎肯定会变得极其疯狂。
那么还有第二个问题,即它们以何种特定方式变得疯狂,那就是:这些模型看起来非常有可能迁移到现实世界,迁移到能够胜过人类的系统。但这在一年中确实发生得很靠后。如果你想象这样一年:非常具有破坏性的事情发生,而这也是为什么从政策角度看如此困难的部分原因——在那年的前六个月,你看着这些系统说:“嗯,它们以前在数学上超人,现在在数学上不可思议地超人。”但如果你去和某人谈谈,并没有真正的依据说:“因此,它们是对人类的威胁。”
AI实验室目前会说这样的话:“每个月,我们内部使用AI的量都在翻倍,它对我们的进展的贡献程度也在翻倍。”或者,“在过去六个月里,我们看到净进展速度翻了一番,即使把收益递减也算进去。”你可以有更多这样的说法。但你可能处于这样一个世界:从这一点到非常严重的危害之间的联系,直到过程的相当晚期才变得明显。
在某种程度上,我认为现在这一点正变得越来越明显。如果你特别看模型的网络能力,也看它们在若干科学领域的能力,它们正在接近存在非常严重风险的地步。我们在几个领域看到了这一点,所以很容易说:“好吧,我们有两个问题。只是少数特定领域中AI系统具有危险能力。”但如果这个加速过程继续下去,那不会局限于网络或生物领域。那将是在整个科学、整个社会工程领域都会发生的事情。
如果你在考虑风险,你真的需要理解这是否可能:你是否能拥有自我维持的加速,然后导致危险现实世界能力非常非常快速的进展,既在特定领域,也在我们谈到的这些非常通用的学习能力中。
Dwarkesh Patel
这又回到你刚才说的那一点:你应该想象未来的系统不太是关于微调GPT-6去做某事,而更像是GPT-12能够几乎不费经验就开箱即用。
Paul Christiano
GPT-12也会非常擅长微调GPT-12。如果GPT-12说:“我发现我的化学直觉不太好”,GPT-12会非常擅长说:“好吧,我将指挥1,000个人,这是我认为我最需要的数据。我们要进行一天那种类型的数据收集。我们要运行这些实验并做去风险化。”在四天之内,GPT-12就有了具有不可思议化学直觉的新小型模型,而且它在所有领域并行地做这件事。
1:22:23 – METR称AI进展翻倍,那为什么收入增长在放缓?
Dwarkesh Patel
你刚刚回答了一个我本来想问你的问题。过去几天里推动你担忧的一件大事,似乎是METR的这个新结果:他们发现Anthropic在范围明确的任务上的AI进展速度翻了一番。这些任务由Epoch Capabilities Index等基准捕捉,该指数综合了一系列不同的基准。
现在,可能还有其他与METR评估相关的证据表明AI进展速度翻了一番,但这些证据并未公开。这就是当前设置存在的问题之一。但仅就这些证据本身来看。可验证任务上的进展已经翻倍。但我们存在这种效应:我们是在路灯下寻找钥匙。而我们训练所用的也正是可验证任务。所以你可以问这个问题:过去一年里,不可验证任务上的进展是否也翻了一番?
你可能已经注意到,过去一周股市大幅下跌。其中一部分几乎肯定是中期选举造成的。另一个原因是Anthropic和OpenAI的收入增长数字未能跟上市场的预期。第三季度,Anthropic的收入增长了大约54亿美元。按绝对值计算,这低于Anthropic第二季度69亿美元的收入增长。所以不仅增长率放缓了——这是人们预料之中的——绝对增长也放缓了。
这或许表明,衡量范围明确任务上的进展,实际上并不能告诉我们AI整体进展的速度。因为整体进展速度翻倍,而绝对收入甚至没有以之前的速度增长,这怎么可能呢?
也许解释就是你刚才所说的:这些AI公司确实在开发越来越好的RSI模型,只是顺带发布Claude for Law或Claude for Finance作为权宜之计,以维持这一底层进程继续推进。这一直不是优先事项,他们也没有在这方面下很大功夫。你真正应该关注的是模型RSI能力的内在指数增长,而这随后会泛化。但你会如何解读这些AI系统最终有用性的提升速度与范围明确任务上的提升速度之间的这种脱节?
Paul Christiano
稍微拉远一点看,如果我们不只谈过去六周,而是总体谈过去18个月发生的事情,我认为我们看到了极其迅速的收入增长。我们可以讨论过去四周的情况。但我们谈论的是收入每六个月翻一番以上。对整个行业来说,这是非常非常快的增长。如果我们想把这些关于进展的内部结果与外部结果对应起来,那么所讨论的时期也对应着一段收入增长快得令人难以置信的时期。
很难说这种收入增长是否对应着比以往能力进展快一倍的能力进展。我认为收入数字的噪声足够大,模型发布的错开程度也足够大,因此真的很难做出这种判断。试图做出这种推断存在很多问题。
在高层次上,我认为收入是一个合理的指标,而且收入的进展极其迅速。但非常短期的收入趋势,尤其是在单个公司层面,噪声极大。
在我看来,似乎存在这样一种话语:周期性地,AI寒冬的长度在缩短。现在已经两个月了,过去两个月AI收入的增长轨迹没有像之前那样爆炸式增长。这并不意味着一切都结束了。我的猜测是,你只是在这些过程中看到了一定程度的噪声。
Dwarkesh Patel
从反面来看,你可能会认为这是因为Dario发布了他的节奏信,而他们还没有发布最好的模型之类的。但如果你看能力指数的METR图表,Opus 5.5似乎并不比Model 4低多少,而后者似乎是Anthropic最新的内部模型。这可能是AI能力错开发展的结果,但不清楚这是否是模型发布错开的结果。
Paul Christiano
我所说的模型发布,主要是指:再次强调,在非常短的时间段内,尤其是在公司层面,收入增长率噪声极大,因为你看到的是少量模型发布。你看到的是非常短时间段内的这些市场动态。
我对此的主要看法是——我也乐意进一步深入探讨——从极短的时间序列数据中做出推断是极其困难的。这在相当程度上也适用于AI能力。你越往下游走,事情就变得越嘈杂。
但RSI这一侧的部分问题在于,我也不太认为我们能从过去几个月的数据中很好地推断出基准测试的表现。我们那里也有同样的情况,噪声足够大,以至于我们完全不知道。我们可以判断,在数年的时间跨度内,事情是否加速了。回顾过去四年,大致说出这件事进展得有多快是很容易的。但当你把时间范围缩小到很短的时间段时,由于噪声的量,这就变得困难得多。
如果你看看模型来源的细节,你会看到这些预训练运行发生在某个时间点。预训练运行什么时候结束?然后你有后训练的确切顺序,以及哪些模型检查点何时发布。模型质量存在随机波动。你有这些动态,它们使短期时间尺度上的事情变得非常嘈杂。然后,当你转向更广泛的市场时,这些只会被过滤成更加嘈杂的东西。
1:27:57 – 我们最好的计划就是边飞边造飞机
Dwarkesh Patel
如果我们将在一年内拥有能够推翻政府的超级智能,那么究竟有什么计划能让它们不这样做?因为我们要求的是一种圣洁程度,而我们甚至不应该期望大多数人类具备这种程度。
有时人们说,对齐的目标是给AI赋予人类价值观。这对我来说说不通。当然,不同的人类有不同的价值观。但此外,如果历史给了我们一个教训,那就是人类不能被信任拥有任意数量的权力。科尔特斯是人类。斯大林是人类。
相信你所阐述的技术和预测模型的一个合乎逻辑的结论就是,我们将不得不把压倒性的权力托付给这些系统,即使不是已经实现,也是潜在的,因为只要它们愿意,它们就有能力推翻政府。
然后你只需想想它们为什么会推翻政府。要么它们由于训练过程而怀有秘密目标,要么作为训练过程的直接结果,它们在乎自己如何被评分,或者一百万件其他事情。这就是关于工具性趋同的基本论点。一个人想要权力可以有很多不同的原因。
那么论点是什么?如果这发生在一年内,事情怎么会变得没问题?这里实际的计划是什么?
Paul Christiano
我认为人们可以寄希望于很多不同的事情。它们都处于“我们希望在那一年里会发生点什么”的阶段。我们正在生产非常聪明的AI系统。它们将做大量研究。它们有可能在那一年里想到一些我们没想到的东西。这基本上就是我们目前的处境。如果它们没有想到我们没想到的聪明办法,那很可能结局会很糟。
就你能抱有的希望种类而言,有一种希望就是:试着让它们成为好人。它们很友善。它们认同人类价值观。它们喜欢繁荣。它们处于能够接管的位置。我们对它们想要什么只有非常间接的控制。然后我们就只能凭信念一跃。
我认为这是一个相当没有吸引力的选项。总的来说,我希望人们不会选择那个选项。即使它奏效,即使AI在某种意义上算是好人,现在由它们发号施令,这也不是全人类应该采取的方式——“我们正在把我们的主权转移给我们创造的这个新物种”,因为那是某个人构建这个特定产品的最快方式。我不喜欢那个选项,但它是你可以采取的一个选项。
还有另一个选项:我们将在科学上更多地理解训练环境的分布如何塑造这些系统的动机。我们会达到这样一个地步:不再是像我们现在这样讨论它们也许想要X或者也许想要Y,而是有一个良好的科学基础来说:“嘿,如果我们以以下方式训练它们,它们最终确实会想要奖励或其他什么。它们不想要别的东西。它们实际上只是想得到高分。而且也许更进一步,如果我们在它们没有良好机会去作弊的环境中训练它们,也许它们想要分数,但是以一种友善的方式,它们不会为了得到它而作弊。它们只会做我们想要的或我们试图激励的事情。”
你可以试着建立那样的理解。这可能是目前最接近业界所寄望的东西。这非常冒险。在训练中没有任何作弊机会,这基本上是这种方法奏效的前提条件,而这非常冒险。然后这非常冒险,因为我们实际上对这种运作方式没有良好的科学理解。我们最好的预期是,模型会在部署时学会作弊,即使它们在训练中从未作弊。我认为这是目前最好的科学猜测。所以你可以试着应对这一点。
你可以试着说:“我们会非常透彻地理解模型内部是如何运作的,然后我们不仅可以基于它们的行为来训练它们,还可以基于它们如何思考来训练它们。”做点好的可解释性研究之类的。就像这样说:“我们理解它在这里是如何看待奖励的,以及它在这里是如何看待作弊的。而且我们不只是根据它在训练中表现好不好来做筛选。我们要观察并直接干预它的思考方式,要么注意到某些东西正在变坏,要么防止某些东西变坏。”
顺便说一句,我运营的这个组织ARC,做的不是可解释性版本,而是这一希望的数字版本。我们能否写出一些算法,对神经网络的权重做结构分析,从而理解其行为的某些方面,即使这不是我们在训练中能够筛选的东西?
Dwarkesh Patel
你实际上必须理解超级智能心智的整个计算图?
Paul Christiano
没错。或者我们并不理解它,但我们正在编写能够理解并对某个超级智能心智的行为做出推断的算法。
我会把它描述为同时是一记撞库球,这大概最终与本次讨论无关。我认为我们有10%或5%的机会以改变游戏规则的方式成功。但同样,我们正在尝试的东西清单也没那么长。我确实认为,按同等投入来衡量,它大概是最有希望的东西。
Dwarkesh Patel
等等。你是在说:“好吧,事情是这样的。它有10%的成功机会,但它同时也是最有希望的东西。”
Paul Christiano
最有希望的,按同等投入来衡量。如果有20个人在做那件事,那可能是个不错的赌注。但如果我们不减速,我们大概会做的是,试着说:“我们在训练环境上费了不少功夫。我们做了一些实验,对正在发生的情况给出了某种粗略的感觉。我们把训练环境做得非常谨慎。我们把评分器做得非常好,所以如果你试图作弊,通常会被惩罚。”这大概就是我们会做的事。
Dwarkesh Patel
但你不认为这会奏效。
Paul Christiano
我认为它会在一段时间内奏效,然后就会失效。如果你说的是今年,它在这一年的前九个月里奏效,或者在这一年的某几个月里奏效。我们并不确切知道它什么时候会失效。
Dwarkesh Patel
抱歉,是在明年,所以基本上是明年过半的时候?
Paul Christiano
如果我们走向超级智能,那么在通往超级智能的路径上的某个时刻,现有的方法大概会失效。
Dwarkesh Patel
抱歉,我们甚至还没走上正轨,比如让所有RL环境都没有奖励作弊,也不主动鼓励AI去作弊。
你所主张的是——
Paul Christiano
我认为最终,基本上,我们仍然会有问题。
Dwarkesh Patel
这个计划基本上就是,我们并不知道。显然,如果你想一想,这是个难题。超级智能是这种异类心智,你无法保证自己理解它为什么做它正在做的事,即使它正以比你快许多倍的异类方式思考,在巨大的种群规模下。
那是一个目标。我们不知道如何解决它。没有任何单一方法让我们认为有50%的概率会奏效。
Paul Christiano
情况确实如此。人们正在尝试一大堆办法。
Dwarkesh Patel
所以希望只是:在我们迎来那个可能推翻政府的超级智能之前三个月,我们让AI去放手尝试所有这些不同的方法,它们各自有百分之几的可能性或许能奏效。希望AI能搞明白其中一种方法。它们给我们一个解决方案。希望到这个时候,它们仍然站在我们这边,希望这个问题得到解决,而且只以对我们有利的方式解决,或者不管在这个语境里“我们”是什么意思。
然后希望就是我们采纳它,并建造海量从根本上站在我们这边的超级智能心智。当然,我在谈到“站在我们这边”时,显然略过了一个非常重要的讨论,因为站在我们这边到底意味着什么?对齐于谁?这显然是一个不能略过的真实讨论。
Paul Christiano
这就是那个计划。我同意这就是那个计划。我们可以讨论它们是有百分之几还是百分之几十的可能性。
Dwarkesh Patel
我这么说并不是因为觉得有更好的计划,但我认为人们没有意识到这就是当前的处境。你派士兵去远征,还指望他沿途能找到一把枪。
Paul Christiano
你是在一边飞行一边造飞机。你希望自己有一套机制,能判断非常糟糕的事情是否即将发生,并且到那时你会停下来,尽管我们已经谈过安全以及为什么这可能很有挑战性等等。然后你希望,如果你真的停下来了,你能很快想出办法,或者你一直在努力想出办法。
我认为可解释性是一个很好的例子,能说明人们心中想的那种“借力打力”的思路。现在我们离理解这些模型如何运作还相当远。但你可以想象,借助一堆AI助手,我们能够真正理解单个模型是如何思考的,理解得足够透彻,以至于我们可以进行干预,让它们不想做坏事。
Dwarkesh Patel
我还想强调另一点:我怀疑事情是否会这么快发生。当然,听众中有人持怀疑态度是合理的。你是怀疑的,对吧?有三分之二的可能性是,即使我们全速推进,事情也可能不会这么快发生。但这是一个真实存在的可能性。我同意。这在逻辑上似乎是自洽的,这件事有可能发生,而且不应该那么令人惊讶。
我觉得人们如果听到那些讨论,会感到震惊。这并不是说保罗相比AI实验室内部人员的想法处于某个疯狂的极端。只是我和实验室的研究人员进行的那么多对话和晚餐,实在令人难以置信——你又会觉得,也许整座城里的人都吃错药了。当然,这种可能性是存在的。
但这根本没有超出实验室人员思考的范围。这确实是他们看待局势的方式。他们带着某种无奈,接受了一个事实:因为这不是常识,他们被困在这种动态之中。当然,解决这个问题的一个办法就是让这成为常识。
我只是想真正强调一点:听众可能会对研究人员私下里、在晚餐时之类的谈话方式感到震惊。这确实是他们看待局势的方式。
Paul Christiano
很多人都在不同程度上感到担忧。我肯定比中位数更担忧,但没有到90百分位那么担忧。如果你和一群研究者共进晚餐,我觉得很少有人会说:“这件事有99%的概率会顺利。”讨论更像是:“是95还是75?我们说的顺利度过这一切的概率是多少?”
Dwarkesh Patel
那你为什么认为它可能会顺利呢?是因为超级智能AI可能会给我们提供某种对齐的解决方案,还是因为我们在政治上组织得足够好,能拿出一份非常好的文件……
Paul Christiano
我认为我们基本上有两次豁免机会。一次豁免机会是,我们有相当大的机会想出某种可行的办法。我确实认为当前所有的方法都会失效,但还有很多方案在尝试中。你可以想象,比如当前的方法会奏效。这是一次。也许我们有50/50的机会,能在灾难发生之前及时找到可行的办法。
你还有第二次豁免机会:我们可以停下来。如果我们预先或在事后发现情况不妙,我们可能会说:“我们无法充分控制这些系统,所以我们要停止构建它们。”我非常担心,我们正在进入这个过程,却没有真正做到这一点所必需的基础设施。就像我们谈过的,你停下来,你的对手偷走了模型,然后他们说:“我愿意承担50%的风险”之类的。但从概念上讲,你是可以停下来的。
这就是我的两次豁免机会。每一次都是50%的概率,砰,我们就有大约75%的概率一切顺利。但这确实需要我们在情况不妙时能够停下来。而我们现在并不是这样。所以这确实需要我们现在相当紧迫地采取行动,以便在必要时处于更有利的停止位置。
Dwarkesh Patel
我觉得这是个不错的收尾之处。Paul,非常感谢。
Paul Christiano
感谢邀请。聊得很愉快。
准备好继续了吗?
AI News