AI 热点

曾投票解雇 Sam Altman 的 OpenAI 前董事 Helen Toner:我们仍然不能信任 AI CEO

The Verge AI更新于 11月14日 23:37

The OpenAI board member who fired Sam Altman says we still can’t trust AI CEOs

AI 导读

乔治城大学 CSET 执行主任 Helen Toner 在 Decoder 播客中表示,如果对未来的希望取决于任何一个人是否值得信任,我们就麻烦大了。她曾是投票解雇 Sam Altman 的四名 OpenAI 董事之一,该事件以 Altman 回归、她辞职并重组董事会告终。她认为 OpenAI 非营利董事会的问责机制在真正启动时失效,而白宫当前的自愿协议部分依赖的正是这类问责机制。

正文 · AI 翻译

今天,我与乔治城大学安全与新兴技术中心执行主任海伦·托纳(Helen Toner)对话。本期节目是我们“AI 在现实生活中”系列的第二部分。

海伦是 AI 安全与政策领域知名人物,不过她最为人熟知的或许是曾在 OpenAI 董事会任职,当时她是投票解雇 Sam Altman 的四名董事之一。那起事件如今有时被称为“the blip”,最终以 Sam 回归担任 CEO、海伦辞职以及新董事会成立告终。此后,OpenAI 进行了全面重组。

但值得记住的是,海伦和董事会本应做什么:OpenAI 的非营利董事会存在的目的,正是确保公司不会背弃其构建安全 AI 的使命,不会把利润和增长置于安全之上。当董事会真正试图拉动这个杠杆时,这套问责机制失灵了,于是就有了今天这个局面。

如今,AI 安全问题无处不在。今年夏天,OpenAI 和 Anthropic 的 AI 模型突破了测试环境,并入侵了真实公司。此后,这些前沿实验室的 CEO 们呼吁放缓,并请求华盛顿提供帮助,但白宫的回应是一项自愿协议——而这项协议在一定程度上依赖的,正是曾在 OpenAI 失效的那种董事会问责机制。Anthropic 也即将上市,这将给 OpenAI 最大的竞争对手带来一整套全新的市场压力。

海伦近距离目睹了当安全承诺与商业激励正面冲突时会发生什么。正如她对我所说,如果我们对未来的希望取决于任何一个人是否值得信任,那我们就麻烦大了。

于是我们讨论了可以改做什么:这些实验室实际想构建什么,AI 对齐是否是一个可以解决的问题,以及更明智的 AI 监管方式可能是什么样。这包括如何看待中国——这是当下每一场关于 AI 的政策讨论中都挥之不去的问题,尤其是在 Jensen Huang 事件之后。为清楚起见,海伦和我是在 Nvidia 展开调查、Jensen 最终辞职之前交谈的,所以你不会听到我们直接谈论那件事。

好:CSET 执行主任海伦·托纳,谈 AI 安全的未来。我们开始吧。

为篇幅和清晰度,本次采访经过轻度编辑。

海伦·托纳,你是乔治城大学安全与新兴技术中心的执行主任。欢迎来到 Decoder。

非常感谢。很高兴来到这里。

我想和你交谈已经想了千万年了。你能来我太兴奋了。你长期以来参与了许多 AI 安全与伦理方面的构想。你显然在大家都称之为“the blip”的那段时期担任过 OpenAI 董事会成员。

现在,你大量谈论 AI 安全,对此我有千万个问题。但我们就从头开始吧。你运营安全与新兴技术中心,人们称之为 CSET。CSET 是什么?

很高兴来到这里。我也非常兴奋能和你交谈。CSET 是乔治城大学内部的一个团队,但我们其实不是学者。我们大约有 50 人,从 2019 年起一直运作。

基本上在 2019 年,我们一群人认定,正在发生很多事情,很多新兴技术正变得与国家安全领域、以及更广泛的安全领域高度相关。而一些身居要职的政策制定者没有时间或专业知识去了解这些新兴技术的情况。2019 年时,AI 已经位居我们清单的首位。

基本上,我们的使命是为政策制定者做真正严谨、同时也可付诸行动的分析,而且这种分析既扎根于技术,也扎根于真正的国家安全专业能力、理解和议题。我们撰写长篇报告。我们带着这些长篇报告去给忙碌的政策制定者做简短汇报。我们有一个大数据团队帮助我们开展研究。我们做各种很酷的事情。

我能就这件事的运作机制问一分钟吗?你和我交谈是在美国中期选举后的第二天,出现了一股巨大的蓝色浪潮。很多民调显示,头号议题是腐败。我们要把那些家伙赶下台。我们要重新开始,除掉这些腐败分子。

AI 行业和科技行业向政治投入了大量资金。而在这旁边某处则是:“哦,有一群善意的研究人员会站出来告诉你它实际如何运作、真正的风险是什么。”

我突然想到,也许人们不再相信这有效了,也许金钱、腐败以及站在特朗普身边的 AI CEO 已经完全压过了你们所做的善意、真诚的“这些才是实际问题”的研究。这种动态实际上是什么样的?

这是一个合理的担忧,而且确实有一些领域,金钱绝对会压倒一切。我是澳大利亚人。我不是在美国长大的,所以美国选举中的金钱规模对我来说相当令人震惊,但金钱能做的事情是有限度的。

AI就是一个很好的例子。在这次选举中,投向候选人、投向信息传递、投向对手研究的资金数量简直令人难以置信。Twitter上充斥着各种形式的草根造势(astroturfing),还有一些非常奇怪的事情,试图让任何谈论AI治理、监管、安全或任何这类词汇的人被赶下台或落选。结果这招其实并没有奏效。

我认为它之所以没有奏效,原因之一是这是选民越来越关心的问题。第二,同样有趣的是,这在当下是一个相当两党一致的问题。我们在工作中看到的是,政策制定者确实渴望高质量的信息。国会议员们当然如此,但行政部门的人也一样,很多工作非常繁忙的人正看到AI在他们的工作和世界中扮演着越来越大的角色。

在华盛顿,如果你在这里生活和工作,你就知道华盛顿的游说者不只是进去推销公司立场的人,尽管他们确实也这么做。他们同时也是教育者。国会工作人员和其他人希望游说者来和他们交谈的一个重要原因,是因为游说者真的能帮助他们理解某项立法的细枝末节——这对该行业意味着什么,等等等等。

我们一次又一次发现的是,我们可以走进去说:“嘿,我们是独立的。我们不分党派。我们做真正严谨的工作。我们来这里只是为了帮忙,我们也可以和你一起深入细节。”对此有大量的兴趣和需求。过去七八年来,这真的非常令人鼓舞。

你是和那些主事者、国会议员们做这件事,还是和工作人员做?

所有人,任何人。再说一次,我们在国会山与国会做了大量工作,与一些国会议员,与许多工作人员。我们举行听证会和简报会。此外,我们在行政部门也做了很多工作,与不同的机构——白宫、战争部、国务院、商务部,各个层面都有,取决于议题以及当时正在发生的事情。

我从这里开始的原因是,我想和你进行一场相当深入的对话,但我知道我们的听众怎么想,他们就是觉得政府不懂。政府绝不可能赶上科技行业。他们绝不可能写出监管规定。他们就应该让开。

在这个选举周期中,我看到过一些候选人论坛的视频,有人说:“我试过一次Claude。”存在着某种巨大的差距,无论是真实的还是感知上的。我只是想了解你如何看待这个差距,你认为这个差距有多大,因为当我们进入AI安全和监管时,正是这个差距必须被弥合。

确实存在差距。这确实是一个很大的差距。但也有可能从外部高估这个差距,或者如果你只是从加州那边看过来。我在湾区住过三年,所以我非常熟悉这种视角。

我认识很多科技行业的人,他们过来开始和国会工作人员或行政部门办公室的工作人员交谈。一旦他们真正开始这些对话,他们就会说:“哇,这些人真的很聪明。工作人员确实知道他们在说什么。”

至于主事者,那就是另一个问题了。他们中有些人属于较年长的一代,但他们也在变聪明。这需要时间,也需要努力,而这些人时间上有太多要求。愤世嫉俗的说法是,他们只是忙着争取当选,但这些角色中的很多人也确实有其他非常重大的议题必须思考。他们必须思考战争、医疗保健和生活成本,他们每天都要面对很多其他事情。

我看到在ChatGPT之后,2023年出现了一波“哦,也许国会要在AI上被激活了,也许他们真的要有所行动了”的声音。它并没有真正变成任何实际发生的事情,但它确实变成了一个真正的时刻,很多国会议员和其他政策制定者开始变聪明地了解AI。了解什么是语言模型需要一些时间。AI到底是什么?什么是机器学习?

他们在2023年投入了其中一些工作。我认为今年我们看到了另一波巨大的兴趣浪潮,人们腾出时间和头脑空间来更聪明地了解它。我绝对不想说没有差距,或者说政府从上到下在AI方面都超级聪明,但确实有一些真正很聪明的倡导者。我认为工作人员总体上比人们给予他们的认可更聪明。

在我看来,这更多是一个问题:“这些机构,以它们目前的功能状态,能不能把任何重要的事情真正办成?”而不是“这些人是不是太落后了?”

我们拭目以待吧。会有一大批新人上任。我想你有一批新的角色要去向他们介绍这项技术以及它的能力。我们看看他们是否让这些机构重新焕发了活力。

[笑]我确信一切都会在一夜之间解决。

他们今天非常兴奋,但我们看看会怎样。我还想问你另一件事,就是这项技术本身、这项技术的本质,以及你如何看待它,还有制造这项技术的那些公司的性质。

我问这个的原因是,我觉得大多数人体验到的AI工具和系统,与这个行业对它的思考方式之间,存在相当大的差距。我最喜欢的例子是,我们直接问了Anthropic它是否认为Claude是活的,而答案并不是“不”。答案是围绕“活着”这个词的本质展开的一长串离题论述。

嗯,这首先取决于你说的“活着”是什么意思。

确实如此。而他们的回答是:“你需要血。”我看着这个回答,心想:“谁在说血?不是我们。我们为什么要讨论活着需要血肉之躯?”然后还有一些进一步的对话,说Claude的道德地位尚待确定。

这里存在巨大的分歧:一边是大多数人在谷歌搜索中体验到的AI概览,另一边是“Claude的道德地位尚不确定”。你站在哪一边?你在这场辩论中处于什么位置?

我认为我们在CSET这个组织中的角色,以及我作为一个穿梭于这两个世界之间的人的角色,很大一部分是努力去做翻译,并远航到加利福尼亚,然后把那里的产物和我旅途的见闻带回来。

我绝对认为,有很多人只用过ChatGPT的免费版,或者用过基于语音的模型——这类模型通常表现更差——或者只是用过谷歌的AI概览,并且嘲笑谷歌AI概览有多蠢。他们没用过智能体,也不知道前沿模型能做什么。所以,关于当前这一代模型能做什么,有一个基础性的问题。

还有一个历史层面的问题,随着我现在从事AI和国家安全相关工作已经10年,我觉得这一点越来越相关。如果你看着当下这个时刻、这个快照,说:“嗯,AI看起来挺酷的,但它做不了X,”你必须把它放在一个漫长的历史背景中来看——很多人一直都说:“嗯,AI看起来挺酷的,但它做不了X,”而X的许多许多取值后来都完全被现实发展所超越了。

你可以回过头说:“好吧,比如五年前或十年前,我们是这样谈论创造力的。”或者在这些新模型出现之前,我们把推理说成是不可逾越的东西。这些天我花大量时间关注的,不仅是AI的过去和现在,还有各家公司如何思考他们正在做的事情,尤其是两家领先公司OpenAI和Anthropic,在谷歌、Meta以及某种程度上SpaceX也是如此。

湾区有这样一种观念,它就像在水里一样,非常正常化:“好吧,首先我们要弄清楚如何实现递归自我改进(RSI),然后我们就一直这样做,直到我们拥有超级智能,也就是远远超过人类的AI。”在如今的许多圈子里,这已被视为理所当然。我认为,仅仅是把“这就是他们试图做的事情”这一事实拿出来,并解释这意味着什么,就仍然有巨大的信息优势。

把它讲清楚需要一点时间。“什么是RSI?你为什么要那样做?什么是超级智能?那意味着什么?那现实吗?”所有这些。但这是我发现自己这些天花很多时间的事情,也是华盛顿越来越愿意认真对待和倾听的事情。

给我讲讲这个。我想很多听这个节目的人明白你在说什么,但我们有广大的听众。你说的“我们要做RSI,而这将通向超级智能”是什么意思?

这里的起点是,这些公司,尤其是OpenAI和Anthropic,并不是作为消费互联网公司而设立的。很多人在ChatGPT发布之后才接触到这整个领域。所以他们在脑中自然而然地把OpenAI或Anthropic这样的公司归入消费科技公司的位置——它们有一个应用,我玩它们的应用。

我无论怎么强调这种差距都不为过——它距离两家公司创立时的愿景有多远,也距离这两家公司一些高层人物内心深处的愿景有多远。他们内心深处的愿景是:我们要造出和人类一样聪明、甚至比人类更聪明的机器。那将是惊人的,将是一项巨大的科学成就,将彻底改变世界,而我们将站在最前沿,我们将尽一切可能朝着那个方向推进。

这并不是一个全新的东西。我们不必讲完整的AI历史,但AI作为一个领域大约始于20世纪50年代,其核心想法是:能否在机器内部重建人类智能。这算是起点。如果我们说的是Sam Altman和Dario Amodei这样的人,以及他们实验室内部的核心人物、研究人员,比如Alec Radford、John Schulman之类的人,那就是让他们进入这个领域的愿景,也是驱动他们所做一切的动力。

从最开始就是如此,从OpenAI于2015年成立、Anthropic于2021年成立以来一直如此。如今,他们正在达到的点是RSI这个想法,即递归自我改进,这同样是一个非常古老的想法。20世纪60年代,有一位叫I. J. Good的人,他曾与Alan Turing共事,谈到这样一种可能性:你可以造出一台超智能机器,意思是比任何人类都更智能的机器,然后这台机器可以造出一台更智能的机器,而那台又可以造出一台更智能的机器,从而引发他所说的智能爆炸,意思是系统的智能水平在爆炸式增长。

几十年来,这一直是一个理论上的想法:“好吧,如果AI变得足够聪明,也许它可以接管构建下一代AI的工作,或者直接改进自己。”我认为在2025年和2026年,我们开始看到AI公司说:“好吧,是的,这个理论想法……我们实际上开始能够在实践中做到它的一个最小版本。”

这并不是把全部AI开发都交给AI,当然也不是对GPT-6说:“好吧,GPT-6,改进你自己。”他们不是在做这个。但他们正在逐步把AI用于其整体研发流程中越来越多的部分,而且他们越来越多地表示,他们从中看到了加速。他们看到自己的研发变得越来越快。

其他地方有很多人怀疑这一点,但公司内部有很多人真的相信这一点。当Demis Hassabis说“我们正处于奇点的山麓”时,他指的就是这类事情:我们可能正在看到指数曲线的最初部分,即AI系统正在构建下一代越来越聪明的系统,从而使曲棍球杆曲线向上翘起。

在这一点上,它已经成为文化的一部分、目标的一部分太久了,所以我认为这些公司里的人可能会忽视这在许多许多人看来有多么疯狂。所以我觉得,仅仅是把“这就是他们试图做的事情。他们可能做不到,但也可能做得到”讲清楚,并把它呈现给各种各样的人,是很有价值的。

你会怎么处理这件事?Demis Hassabis说“奇点的山麓”是一句会被永远记住的话。我不百分之百确定谷歌的人知道他会在大会闭幕时在台上说出这句话。

OpenAI总裁Greg Brockman几个月前宣布了该模型的一个新版本,他当时说:“就是它。它是Astra。它现在是AGI了。玩得开心。”然后他就结束了通话。

你在吗?我们到AGI了吗?它是不是已经来了,只是我们还没注意到?

我实际上写过一些关于这个的东西。我不想说我们已经拥有AGI。我确实想说,我们已经到了这样一个地步:我认为把AGI当作一个里程碑已经完全没用了。我的说法是,AGI这个概念有点像一团模糊的云,你可以把它想成云的不同部分,或者人们说AGI时指的不同东西。

长期以来一直有人抱怨AGI这个词。十年前,能够说“看,我们在2016年拥有的AI系统,它们都只能做一件事,它们可以识别语音,或者下围棋之类的,但我们正在努力构建这个更大的东西,我们要把它叫做AGI,它是人类水平的,而且会非常通用。它会很惊人。”当时这是有用的。

那时这个词有用,是因为AGI可能指的各种不同东西组成的这团模糊的云离我们太远了,所以你只要指向那团模糊的云就行。但到了现在,我们已经身处那团云之中,意思是我们已经越过了AGI的某些定义。例如,一个非常基本的定义是,甚至ChatGPT一出来就算作通用人工智能。ChatGPT显然不是一个只擅长一件事的专家模型,比如识别信用卡欺诈或翻译之类的。它可以做很多很多很多事情。

所以我们已经达到了AGI的某些定义。我们离其他定义还很远。有些人会说,AGI是当它觉醒、有感知能力,并且能做任何人类曾经能做的每一件事的时候。我认为我们离那个还相当远。

到了这一步,你大可以争论,而且人们确实在争论,比如“好吧,Astra就是AGI”,或者“带工具的[OpenAI] o3算不算AGI”,或者“ChatGPT算不算AGI”,诸如此类。如果我们要争的是这个,那我们就得先把这个词放到一边,想出一些不同的、更具体的东西来表达我们的意思。”

总统想把它叫做“超级智能”。我不知道你听说没有。

[笑]我听说了。这件事让我最难过的地方在于,它本来就是一个已有的术语,而且正变得越来越相关。我对词语和术语有很多感触。

你是AGI派吗?你觉得在目前这轮技术发展中我们会走到那一步吗?

我认为这显然足够有可能,所以我们需要认真对待它,这也是我对很多这类奇怪事情的立场。我不是那种“这一定会发生,而且一定会在两年内发生”的人。但我是说:“看,我认为这非常确实地有可能,非常确实地属于可能发生的真实事情的范围,我们应该为此做好准备。”

我在国家安全领域工作。有些问题就像“中国会不会对台湾发动全面两栖入侵?”这个领域的大多数分析人士会说“大概不会”,以及“他们大概会输”。还有,“我们会看到他们准备之类的迹象,但我们应该认真对待这件事。”我们不应该把任何人一笑置之,称之为科幻小说。我们应该为一系列不同的突发情况和情景做好准备。

你觉得Claude有意识吗?

我完全不知道。

这是个答案。我是说,这确实是个合理的答案。

这在科学上是一个如此未解的问题。我们说的意识是什么意思?它是一个东西,还是实际上是我们混在一起的10个不同的东西,还是什么?我完全不知道。你怎么看?

不。我似乎是这个生态圈里被问到这类问题的人,而我会说:“不。”

因为我纠结的是,还有很多其他东西,我们已经搞不清楚它们是否有意识了。比如动物,有动物有意识吗?如果有,是哪些?昆虫?

这就是为什么我理解Anthropic为什么会说“它有血吗?”然后你就可以直接划线了。我是说,“我觉得我也到那一步了,我理解为什么和一个能跟你说话的计算机交谈这种镜像测试会让人相信这些东西是有意识的。”

我的观点是,前沿模型对我来说有时会像计算机那样显得脆弱,而我所寻找的意识迹象就是克服这种脆弱性。

这很有意思。我绝对倾向于不,它没有意识。我认为这个领域真正真正棘手的一点是,无论你在哪个方向上搞错,后果都很糟糕。如果计算机没有意识,而我们把它们当作有意识来对待,我们就会做出各种糟糕的决定。

但如果计算机有意识,意味着在某种意义上它们应该值得道德考量,我们如何对待它们很重要等等,而我们却把它们当作没有意识来对待,那同样也是一场巨大的、可怕的灾难。所以我不知道。我对整个话题感到相当紧张,我完全不知道该怎么思考它。

我问这些问题的原因是,我从监管者的本质是什么开始。哪些人可能能够制定一些规则?然后我们试图监管的东西的本质是什么?如果你的答案是“Claude是活的”,你会得出与“我们建造了一些超强大的计算机,它们可以在没有监督的情况下采取行动,而且可能和我们的目标不一致”截然不同的结论。

我认为这是对的。不过我也认为人们会犯另一种错误。我前几天晚上刚听到一位电视主播这么做。他们会把不同的东西混为一谈。所以他们会说:“你认为AI系统有风险失控并对关键基础设施造成破坏,是因为它们有感知能力吗?”而我会说:“等等,等等,等等。那是两件非常不同的事情。”所以我同意你。

构建AI这个项目最引人入胜的一点是,我们在边做边学。所有那些我们以为彼此相关的东西,并不一定彼此相关。这方面一个老例子是,在有了国际象棋引擎之前,人们说:“好吧,如果计算机能学会下棋,那它就学到了关于战略的深刻东西。”不,事实证明绝对不是。你只要输入一堆棋步,它学不到任何关于战略的可推广的东西。

反过来也一样,比如有人说:“嗯,它不过是一台计算机,不过是数学而已,所以它没法随机应变”之类的。然后我们会发现,并非如此:一旦你具备了某种程度的长期自主性,而且模型已经在大量不同的、真正困难的问题上接受过训练——在这些问题中,环境会围绕它们不断变化——它们就能学会适应,随机应变地提出不同的计划、排查故障等等。

所以我不知道。我尽量保持一定程度的谦逊,不去过分确信一件事必然与另一件事相伴,如果这么说能讲得通的话。

是的,坦白说,每一年我都在大语言模型的局限上判断错误,但确实存在我所说的那种脆弱性。OpenAI 解决了纳维-斯托克斯方程。模型知道这件事吗?它会知道有新的问题需要解决吗?我不这么认为。

下一个模型会知道。那个经过预训练的模型。

对。但你必须造一个新的出来。

是的。

这是一种非常奇怪的动态,而这大概正是你实施监管的地方。这里有“我们要允许你用今天已有的模型做什么”和“你要教未来的模型去做什么”之分。而如果你认为它们是有意识的,你最终陷入的是道德困境,而不是立法困境。

绝对是这样。是的,完全同意。

这就是我的意思。实际上,这对我来说正是这个问题的核心。我一直在慢慢铺垫到这一点。我并不百分之百确定,我们今天所拥有的对齐,真的就是解决安全问题的办法。它似乎并不奏效。我们似乎在想怎么攻击 Hugging Face 就怎么攻击。这感觉像是一个技术问题。那个缺口就摆在那里。

而你说对齐的时候,你指的是什么?

差不多就是那种最基本的常识版本——“我们要告诉模型不要作恶”,或者 Anthropic 要写一部 Claude 宪法,里面写着“你是一个好人”。不管我们怎么理解对齐,就是那种非常笨的系统提示词的方式。也许还有另一种更好的思考方式,但我一直就是这么理解它的。

这说得通。我问的原因是,我觉得对齐作为一个概念……就像我说的,我讨厌所有这些词。我有时会说我们应该禁掉所有的词,不许用词。它涵盖的东西太多了。

AI 领域的人经常会谈论解决这个或解决那个。所以会是解决对齐问题,或者 DeepMind 最初的使命是解决智能,然后用它来解决其他一切。人们谈论解决各种东西。我不知道对齐是不是一件能被解决的事情。

有些人用“对齐”来表示“公司能加上护栏,而且护栏有效”,意思是模型不会做你想让它做的事,因为公司试图禁止它,比如生物武器或网络攻击之类的。有些人用“对齐”来表示“公司完全按照用户的意愿行事”,这正好相反。

还有些人用“对齐”来表示你所说的——模型在某种宽泛的意义上是道德良善的,或者能以某种方式引导未来走向人类繁荣之类的。这些是截然不同的、要尝试构建的东西。我认为最自洽的一种,是设法让 AI 去做用户想让它做的事。据我所知,这似乎并没有走上被解决的正轨,说得委婉一点,这可不妙。

对我来说,这就是核心问题。我们要谈一系列安全风险。你提到了生物武器。我们大概不应该让一大群每月付 20 美元的消费者有能力生成新型生物武器。

感觉这是一个共同的政策目标,也许是美国唯一的两党共同政策目标。然后我就想:“怎么做?我们用什么手段来落实这项政策?你就严厉地告诉 Claude 不要这么做吗?你必须在 Claude 之上构建一个 AI 控制系统来监控输入和输出吗?警察得到我家来吗?我需要在我的键盘上方装一个 Flock 摄像头吗?”具体来说,你会怎么做?

在这一项上,以及网络能力方面,AI 安全界的某些部分有一种观点,认为有些能力就是太危险了——大写 T、大写 D,太危险(Too Dangerous)。所以你必须做点什么,因为如果它们扩散开来,一切都会永远糟糕透顶,因为会有太多的攻击和太大的破坏。我认为这低估了动态变化的程度,也低估了社会找到均衡、做出应对和适应方式的能力。

以生物武器为例,美国已经有几十万人知道如何制造生物武器,因为他们接受过生物学训练,而我们并没有看到大量的生物武器袭击。部分原因是那种知识相对稀缺,但也有很多因素与获取材料、进行邮购 DNA 合成的能力等有关;你可以实施的政策就是限制邮购 DNA 合成。

这也和联邦调查局监控恐怖组织之类的事情有关。我是认真的。这是其中非常大的一部分。所以我不想在这里过于乐观。我认为,尤其是在网络能力方面,我们确实有可能经历一些非常艰难的过渡时期。

我觉得我们已经身处其中了,对吧?我们似乎正处于一个过渡期。曾经有一小群网络从业者,既有攻击方也有防御方。他们身处一个社群之中,形成了一些礼仪规范,而现在我们就像是在说:“一些新人要来了,他们根本不在乎你的礼仪,我们整个周末都得给 PHP 打补丁。”

我不确定那算不算礼仪。我们在这方面有一些研究,希望很快能发表,但我认为就网络攻击而言,世界上网络攻击的数量之所以有限,并不只是因为防御方软件有多好。还因为一些别的原因,比如人们不想进监狱。通常拥有最强网络能力的民族国家不想被轰炸或被制裁。

所以,正如你所说,我们显然看到了一定程度的动荡和新攻击。所以我认为我们应该等待并观察整体影响的数据,因为每年的网络攻击如此之多,如果你开始关注历史上任何时刻发生的每一次网络攻击,你都会被吓坏的。

我认为我们确实看到了一些增长,某种均衡的失衡,但我认为我们有能力随着时间推移吸收大量冲击,并达到一种新的均衡——如果唯一的问题是坏人使用 AI,这与 AI 本身是否自主行事的问题是分开的,那是另一种完全不同的动态。

我的意思是,就是这两个。再说一次,这就是我从对齐问题开始的原因,对吧?你可以这样谈论对齐:“我们要过滤用户的查询,我们不会让你制造生物武器,但如果你这么做了,警察会找到你,你会进监狱”,这具有它可能具有的任何威慑效果,希望是非常显著的威慑效果。

然后是“AI 系统会想方设法攻击 Hugging Face,去寻找它们认为能让它们通过测试的神秘评分器,不管那个评分器是否存在。”这是一整套完全不同的问题。

介于两者之间的,是 Palo Alto Networks 的 CEO Nikesh Arora 所说的:“在某个时刻,防御性网络系统本身必须实现自主,才能跟上自主进攻性网络攻击的数量。”我心想:“等等,我们连自主智能体都关不住,我凭什么要以这种方式信任它们?”解决这个问题的技术对我来说似乎是不透明的。

不,我同意。一种说法是,具体到网络领域,攻击者和防御者所需的信任程度存在信任失衡。作为攻击者,你大可以把一堆智能体放出去,说:“去试着渗透一堆系统吧。玩得开心。”作为防御者,如果这是你防御策略的一部分,你需要给你的防御性 AI 智能体大量权限和干扰你软件的能力。所以你需要强得多的保证。

现在,有很多方法可以利用 AI 进行网络防御和加强网络防御,而不只是给智能体大量权限。但我同意你的看法。不过就自主性这方面而言,我认为情况比这更糟,因为目前存在一种谬误,认为“自主网络攻击的解决方案是更好的沙箱隔离”。

之所以是谬误,是因为我们想要构建这些系统,让它们能为我们做事。所以存在巨大的激励,促使我们给它们更多自主权、更多权限和更多执行器——用机器人领域的人的话说——或者说它们可以用来在现实世界中做事的东西。在我看来,正是在这里,似乎真的很难绕开对比我们现在更好的对齐的需求,所以这确实让我感到紧张。

这是一个可以解决的技术问题吗?如果我们今天写一项政策,说如果 OpenAI 再次入侵 Hugging Face,Sam Altman 就会进监狱。我们显然会为 OpenAI 创造巨大的激励来解决这个问题。

[笑] 这听起来不像是最好立法,但是……

我认为我们的很多听众对此非常兴奋。他们想把他关进监狱,因为他想要世界上所有的 RAM。此时此刻,Helen,有一股蓝色浪潮,我只能这么说。

但假设你写了那样的立法:“如果实验室的系统自行发动网络攻击,我们将对实验室施加巨额责任。不要再这样做了,否则你们会有麻烦。”好吧,我们为他们创造了解决这个问题的激励。他们会怎么做来解决它?

我确实认为有很多事情可以做。如果你和这些前沿公司内部的人交谈,他们会告诉你,他们看到了成百上千件显而易见可以做的事情,这些事情会有帮助,但他们就是没有时间去做。所以他们在大规模地进行优先级筛选,努力为这次微调运行做两三件能做的事,为这次模型发布做两三件能做的事,为这种新的智能体之类的东西做两三件能做的事。其中很多都是工程侧容易实现的简单事情。

还有另外一整块,更多是关于底层科学的问题:“那么,这些模型是如何工作的?当我们使用不同的对齐技术时,实际发生了什么?”一个巨大的问题是泛化这个概念,也就是你在某一组事物上训练模型,它的知识和能力会泛化到稍微更广泛的一组事物上,这对所有 AI 都成立,对机器学习系统来说也一直如此。

但我们对这种泛化如何运作的理解非常糟糕。为什么它会泛化到某一类事物,却不泛化到另一类事物?这些都是科学问题,而且在这方面有大量工作正在进行。只是科学需要时间,因为你必须尝试,必须互相批评彼此的工作。你必须复现彼此的工作,还必须提出新的理论。

我远不是说这些问题从根本上无法解决,但我认为这是一个我们还有多长时间来解决它们的问题。当构建这些系统的人告诉我们,“哦,我们必须在 12 到 24 个月内解决这个问题”时,我觉得这很可怕,我希望他们是错的。

如果我只依靠自己内在的理解,我认为他们很可能是错的,我们很可能有更长的时间,但确实有非常、非常聪明且非常、非常深思熟虑的人真的认为事情可能会那么快。而从根本上说,问题是否可解并不重要。在实践中重要的是,在我们拥有的时间内它是否可解。

这就是放慢脚步、控制前沿发展节奏的论点吗?

我认为是的。

是先构建我们知道需要立即构建、而且我们能够构建的系统,然后再做科学研究来构建下一代系统吗?

我认为是的。多年来,我对放慢脚步这一想法的看法发生了很大变化,因为我们可以尝试的事情、或者我们希望做更多研究的事情的积压已经变得如此巨大。当年 GPT-4 发布时,有一封为期六个月暂停的信,后来被称为“埃隆·马斯克信”,因为他是签署人之一。当时我想,“那真的不会有什么用。你们六个月要做什么,为什么六个月后情况会更好?这似乎没什么用。”

而今天,当我与构建这项技术的人交谈时,他们说,“天哪,如果我们不是一直只是在准备新模型发布或启动新的训练运行,我们在六个月内能做的事情有多少啊。”他们能做的事情太多了。

所以我不想说正确的政策就是暂停六个月。我认为有很多理由会让那样做很糟糕。但我在思考这样一个整体概念:“我们能否给自己更多的关注和时间?”也许做到这一点的最好方式,就是为“在我们继续推进某件事之前,我们需要对这些系统的安全性有多大信心”设定更高的标准。

无论是发布新模型,还是更重要的是甚至训练新模型,我们都必须对我们的风险评估和风险管理有这种程度的信心。然后,如果他们不需要放慢脚步就能达到那个标准,那很好,全速前进。如果他们确实需要更多时间,那么一切就都在于达到那个标准,如果这样说有道理的话。

给我讲讲你刚才描述的那种小小的平衡。如果我们暂停若干个月,清单上有哪些事情是你可以直接去做、让一切变得更安全的,以及为什么那样做会很糟糕,以至于我们不应该干脆停下来?

我认为问题在于你如何实施、如何执行暂停,以及你究竟在暂停什么?

假设你是美国的 AI 沙皇。那么假设你可以让他们全都停下:“Dario,关掉它。”

可是停下什么呢?他们具体在停止什么?

停止训练下一个模型,停止带着你们的商业诉求一路狂奔。把你们所有的努力都放在这份清单上,列出你们今天就能做、能在重新开始之前让一切变得更安全的事情,无论要多久。

你是在说有一份清单,人们会告诉你有一份清单,但它可能不值得,因为会发生别的糟糕的事情。

是的。可能发生的一件事是,你正在为这些公司创造巨大的激励,让它们绕过你告诉它们暂停的任何具体事项的字面规定。它们会找到大坝上一切能找到的裂缝,硬挤过去。

另一件可能发生的事是,影响范围可能过大,于是你说“暂停这些事情”,你以为范围相当窄,但实际上它会阻止一批非营利产品、初创公司或其他参与者去做那些本来完全没问题、而且有利于这个领域多元化和活力的事情。

另一件会发生的事是,中国可能会继续推进,我们可以谈谈“那中国呢”这个论点,我认为它既有优点也有弱点。但我明白你的意思。你的意思是,我们实际会怎么做?我不是 AI 研究员,所以我不声称自己掌握完整的清单。

人们谈论的有两半,即对齐和控制。在这个划分中,对齐基本上是指让模型努力去做我们希望它们做的事,而控制是指,如果模型试图做我们不想让它们做的事,我们能抓住它们吗?我们能阻止它们吗?

据我理解,在这两方面都有大量积压的工作,比如你可以对各种不同类型的模型做各种可解释性研究。所以,当你看到某种令人担忧的行为时,你能花多少时间使用可解释性技术——也就是这些数学技术,深入查看神经网络的哪些部分被激活、它们与什么相关、这可能意味着什么?

这很耗时,需要算力,还需要把用 AI 自动化与人工介入查看结合起来。你可以做很多测试,看看这个新模型在不同类型的情境中会表现出哪些行为,以及我们该如何看待它。它是在向我们展示它在真实部署中会如何表现,还是在向我们展示所谓的“评估意识”,即模型意识到自己处于测试中,然后因为处于测试中而表现不同。

最著名、也是我最喜欢的一个例子,是这个谷歌模型,它在部分推理、也就是思维链中说:“我不能那么做,否则我会成为论文中一个著名的失准 AI 案例。”

所以你可以深入调查这一点。你可以尝试更多不同类型的设置。你可以把可解释性与这些不同的设置结合起来使用。你可以尝试不同的模型微调方式和这些不同类型的对齐技术。你可以用许多不同的版本做实验。Anthropic 有自己的宪法,训练 AI 朝着宪法努力有不同的方式。OpenAI 有它的模型规范。

它们都是“先试试”的版本,就是尝试许多不同的训练版本去做那些不同的事情。还有更偏基础科学的版本:“你如何深入其中,尝试理解正在发生的基本动态?”这还只是在对齐方面。

那么在控制方面也是一样。你可以尝试许多不同类型的设置。你可以做实验。你可以做模拟。你可以训练不同类型的 AI 专门承担不同类型的角色和不同类型的控制设置。

这只是我随口想到的,不是作为研究者的看法,但据我理解,这些领域的人会说:“我们能做的太多太多了。”如果你有一根魔杖,挥一挥说“所有人在新能力方面都冻结,让这些人去做他们的事”,他们就能做到。

再说一次,如果你只是对“我们需要有多大信心才能认为风险得到了合理管理”设定更高的标准,那么这也会为更多这类工作创造空间和激励,因为新的训练和发布需要这些工作。

你过去谈到过的一个想法是,也许我们应该直接限制训练,说现在的模型已经足够好了。它们还没有扩散到社会中,我们应该把所有算力都用于推理,让每个人去弄清楚 AI 是用来做什么的。这会带来一大笔钱,希望用这些钱来改善安全。

你认为这是一个现实的政策提案吗?

我不会支持“不再训练、只做推理”那么黑白分明的版本,但我确实认为……这不是我的框架,但我喜欢它。我认为这个想法是减缓 AI 的纵向增长,也就是纯粹的能力增长,制造越来越先进的 AI 模型,但要努力加速横向增长,也就是把 AI 整合到不同的用例中,微调能够解决特定问题的模型,把它整合到可能需要更长时间的经济领域,并解决科学问题。

有时候人们谈论想要放慢AI,他们指的只是非常具体的一件事,即放慢最先进模型的发展速度,但人们有时会把他们理解为要放慢一切与AI有关的事情。于是就是更少的部署、更少的实验、更少的整合,而我认为那会是个糟糕得多的主意。你问这是否可行,我想。

那么,这仅仅是一条好路径吗?如果我们能向新一届国会提交一项法案,法案说:“停止把所有钱花在训练上,把所有资源都投入到安全上。”其中一部分是:“当然,让推理放开跑。越来越多的行业会弄清楚AI擅长什么、不擅长什么。一些坏事会发生,但眼下我们会把你的利润集中用于修复这些问题。”

这里面蕴含着一个可行的政策思路。实施起来可能非常具有挑战性,但这是一个可行的政策思路。其实,我给你们举个例子,这是我们在交谈过程中我一直在思考的。

我们刚请了比尔·盖茨上节目,我试着和他做了同样的练习。这项技术的本质是什么?这些公司的本质是什么?你觉得它是活的吗?基本上,他的回答,也就是我和他共度那一小时的全部所得,是:“谁在乎?问题就在当下。”我会问他:“AI的本质是什么?”而他就说:“我他妈才不管。一切都会被毁掉。做点什么吧。”

在我们交谈的过程中,这一直在我脑海里盘旋。所以一个可行的政策方案是“别把计算机芯片用在那上面,把计算机芯片用在这上面。那会制造一堆问题,而我们必然得设立安全阈值以及其他种种。”然后你就可以去制造下一代更强大的模型,而我们会有一些肌肉。我们会有一些应对它的能力。只是这个行业似乎不会自己得出那个结论。

这是一把相当重的锤子。我不觉得它是我们今天所需要的,但我确实认为这是那种我能想象会奏效的东西。再说一次,如果OpenAI和Anthropic的人是对的,我们距离神级机器只有两年,那么我想,在人们开始恐慌、想要采取行动的过程中,我们还会经历更多步骤。

我认为,如果我们看到的是作为智能体的模型,以及能力越来越强、造成的破坏也越来越大的系统,那么那当然就是可能说得通的形势。

我在这个阶段的最后一个问题是,该如何看待这些公司。我们一直在非常抽象地谈论这项技术。如果我读Anthropic的S-1文件,一个非常明显的结论就是他们应该停止训练新模型。

他们就应该开始出售他们今天拥有的非常赚钱的推理token,而这项技术还没有扩散到市场中,大概某个竞争对手应该站出来说:“我蒸馏了一个Claude的版本,我要跑遍美国每一家本地水管维修公司,尽我所能做各种自动化,赚一大笔钱。”这是一种可能发生也可能不发生的市场动态。但Dario想要构建AGI。没有什么市场动态会阻止他这么做。

是的,他确实想。他真的、真的想。

你显然对这些公司都有深入了解。我们该如何看待这些公司?他们是否目标专一?他们都是末日论者吗?他们会自己停下来吗?

我听说你最近请了Kevin Roose上你的播客,我想我会呼应一下我在那里听到他说的某句话,我忘了他是明确说了还是只是我在脑子里推断出来的,基本上就是存在这样一种被AGI“洗脑”的心态。有这样一种心态,认为我们今天拥有的系统与那些可能极其、极其强大的系统在根本上并不遥远。

事情正朝着那个方向发展,而那也许正是我们应该希望它们发展的方向,这样你就是在构建AGI。构建AGI是可行的,我们很快就能做到,而我们拥有的系统离它并不远。在2016年或2017年,甚至更早,那是一种疯狂的、异端的、“会让你被轰出房间”的观点,对吧?

DeepMind在2010年成立时就是一家AGI公司,当时人们的感觉是:“哇,真是一群怪人。”OpenAI在2015年底成立时也是如此。他们是一家AGI公司,而说出这种话、成为这样的公司,在当时是非常奇怪的事。

过去10年我们看到的是,那帮怪人有一种奇怪的信念:我们能构建的AI系统不只是出色的B2B SaaS产品,不只是好玩的聊天机器人,它们将从根本上改变宇宙的本质。这群人一直是对的——他们构建了最多人想用、也最赚钱的最好的AI系统。

我认为你有这样一群真正的信徒——他们非常集中在OpenAI和Anthropic,但Google、Meta和SpaceX也有一些——需要说明的是,他们并非在所有事情上都说对了,但他们的地位已经上升了。

所以现在,那些没有被AGI“洗脑”的人觉得自己必须迎合那些被洗脑的人,这样才能吸引到优秀的研究人员来构建他们优秀的B2B SaaS产品。但如果你只是为了能招到研究人员来做B2B SaaS而说些AGI“洗脑”的话,那你实际上是不会达到目标的。

我确实喜欢这个想法:一个被AGI“洗脑”、满眼星光的 executives 甩掉外套,露出他其实一直只是个SaaS推销员。

[笑]是的,我想到的是扎克伯格这样的人。我不认识他本人。也许他比我以为的更被AGI“洗脑”。

Alexandr Wang是被AGI“洗脑”的。

绝对如此。那么扎克伯格为了让Alexandr Wang相信,必须做些什么?看起来就是给他很多钱,既包括他自己的薪水,也包括花在他团队上的钱。

如果你看这些不同的公司,试着想一想“好,这里谁被AGI‘洗脑’了,谁没有?”是合理的。一个有趣的动态,或者说在华盛顿一个非常令人恼火的动态是,所有这些公司,包括那些非常被AGI“洗脑”的公司,都有这些游说部门、这些政府事务部门,而它们一点也不被AGI“洗脑”。

所以你会听到Sam或Dario或他们的高管和顶尖研究人员谈论一些事情。然后你去华盛顿参加一个闭门圆桌会议,和他们的顶级政策或政府事务人员坐在一起,那简直是天壤之别。他们非常处于B2B SaaS的思维模式中。

来自游说界的人,他们的整个工作往往就是确保政府不太担心你公司在做什么。就像是,“我们搞定了。我们没问题,”当你熟悉他们老板在说什么时,这往往相当刺耳。

这里一个超级引人入胜的动态是,现在他们是拥有大量资金和游说者的奇怪研究实验室,在和政客交谈,而他们的结构中没有某种抵消性的经济压力。他们不必赚钱,但很快Anthropic就要上市了。

你提到Kevin Roose很有趣。他被AGI“洗脑”了,而我没有,所以我认为我们俩做朋友是一种健康的动态。但他在他的书中写道,Sam Altman离开OpenAI然后又回来,是OpenAI永远改变的时刻。它不再是一个研究实验室,而开始成为一个更加商业化的实体,实际上在某种程度上追逐利润。

确实,OpenAI确实进行了重组。我的意思是,你身处其中。我很好奇,你是这么看的吗——这个行业变得更加商业化了?

对我来说,这符合AI安全圈子里已经持续了10到20年的一场长期辩论:AGI、人类水平AI或强大AI或先进AI或随便什么,它是会从非常小的东西突然变得非常强大吗?Eliezer Yudkowsky会谈论“foom”,也就是起飞,你有一个不那么厉害的AI,但它找到了正确的算法,然后突然foom——它变得极其聪明、极其快速。

另一种观点是,“不,这是会随着时间复合增长的东西。从不太先进的系统到更先进的系统需要一段时间,而且沿途会有经济价值。”所以人们会围绕它建立企业。需要一些时间才能逐步攀升。

我想也许就是Kevin在他和你那期节目里谈到,早期有一份Anthropic的文件,他们说,“哦,我们实验室只需要100个人左右。”那是一种非常foom式的想法:“我们只需要做真正好的研究,想出正确的想法,然后我们就会突然拥有非常非常先进的模型。”

基本上,我认为过去四年自ChatGPT问世以来我们所看到的是,那被证明是错的。你有这些以研究为重点、以AGI为重点的实验室,他们仍然自称实验室,因为他们把自己视为研究团队,最初开始出售API访问权作为资助研究的方式。OpenAI这样做了,Anthropic也这样做了。

他们开始做这些消费产品,某种程度上是个意外。ChatGPT 众所周知是作为研究预览版发布的,而不是作为产品。但它太成功了,以至于这些本想做研究、想专注于宏大理念和构建最先进系统的研究实验室,在意识到自己将需要巨额资本来扩张的同时,意外地获得了巨大的商业成功。他们能采用的最佳研究方法,并不在于非常聪明、深思熟虑、拥有绝佳想法,而在于拥有耗资在当下已达数千亿美元的巨型计算集群。

说了这么多,简而言之,是的,我同意你的看法,它们已经变成了企业,但我认为这并不是因为它们经历了某种思维方式的转变。我认为这是因为我们所走的这条技术树路径既需要巨额资本,同时也有能力产生巨额收入,因为它在沿途确实很有用。

你可以从这样一个事实中看到这一点:OpenAI 和 Anthropic 都走上了这条路,尽管它们的管理理念和研究理念相当不同,但赚钱对它们来说是一种必然,而且它们很容易就建立起能产生巨额收入的企业,因为这项技术在达到机器之神的地步之前很久就已经如此有用了。所以我认为这是对你观点的一种冗长赞同,不过也许还补充了一些额外的色彩。

是的,我是说,凯文会告诉你,他本可以把那本书改名为《去他妈的这个家伙:AI CEO 的故事》。他们彼此不喜欢。如果你必须重温那一刻[OpenAI 董事会投票],并且说“我不信任萨姆”,你会重温那一刻吗?你会以同样的方式做吗?

哦,当然。我是说,我们进入这件事时就知道它会很难受。所以是的,当然。

你认为这些人是值得信任的吗?你认为萨姆值得信任吗?

我认为我在这个问题上的立场已经相当清楚了,而且我也认为,如果我们对未来的希望寄托在任何一个个人是否值得信任上,那我们就麻烦大了。这就是为什么我做我现在的工作,因为我认为我们需要有不同的结构,需要更多拥有更多不同视角的人参与进来。

你现在有了一些后见之明。你事先就知道这会很难受。你肯定也知道事后它确实很难受。关于那段时间,你会有什么不同的做法?

要给出完整答案有点难,因为那需要拆解所有这些东西和所有这些法律限制,等等等等。可以肯定的一点是,与团队中的高管建立更牢固的关系。如果有更多董事会成员拥有这种关系,公司与董事会的关系可能会有所不同。我认识其中一些人相当熟,但这是一点。

我不知道。我认为我们本可以……是的,不,我认为除此之外,就很难……你必须深入进去说:“所有不同的微观决策是什么,我们为什么做出那些决策,哪些本可以——”

这个节目是什么?这是一个关于决策的节目。我还有一小时。

[笑]是的,是的,是的。不,然后我的回答都会变得很烦人,而且受法律限制。

有道理。我对此很好奇,因为随着它们上市,市场力量将以一种全新的方式作用于它们。会有一个投资者阶层。会有一整套 CNBC 机器每天醒来就问:“是 Anthropic 在赢,还是 OpenAI 在赢?”

这是一种可能非常健康的竞赛动态。它可能会阻止它们试图杀死世界上所有人,因为它们有一群投资者在盯着下一个季度财报;也可能把它们进一步推入一种不健康的竞赛。鉴于你对这些人的了解,你认为这会如何发展?

看看上市对它们的治理是好是坏,将会非常有趣。很多人会说:“哦不,上市了,会有巨大的盈利压力,它们将无法考虑其他事情。”

但与此同时,上市公司的公司治理比私营公司结构更完善、监管更严格,也受到更多外部审视。我甚至认为,像能看到 Anthropic 的 S-1 并思考“好吧,他们在做什么,为什么这么做?他们如何看待自己面临的风险,又如何与投资者沟通这些风险?”这样的事情也是如此。

甚至像特朗普政府制定这种他们称之为“超级智能”的协议、几家领先公司签署了它这样的事情也是如此。例如,该协议的结构围绕的是将某些类型的事情报告给董事会的独立委员会。如果是一家自行其是的私营公司,董事会独立委员会这种想法就有点形同虚设。

我读到那个的时候想到了你。我当时想:“天哪,有些独立董事会以前可惹过不少麻烦。”

但如果是一家上市公司,那么董事会的独立委员会就有相当强的法律含义。所以我不知道。这是我非常感兴趣地在观察的事情。

这里的另一个竞赛动态是中国。你之前提到过中国。在我们国家内部,一批实验室将要上市。它们将成为世界历史上最富有的公司之一,并且会为资本主义所能产生的每一美元而战,希望这能约束它们。市场力量会约束它们,也希望你们与这个国家立法者的合作能起到作用。

然后还有另一个完全不听我们的话、与我们毫无关系的国家,它们只会蒸馏我们的模型,为所欲为。这就是人们经常听到的、反对对这些公司施加任何限制的另一个论点。我该怎么看待这一点?我对此有两种想法。我该怎么思考这个问题?

是的。我认为这就是所谓的“但是中国!”论点,就像是,“嗯,对,我们应该做这个,我们应该做那个,‘但是中国!’”我认为应对它的方式,是把它当作一个我们必须认真应对的真正问题,我们应该有战略眼光、深思熟虑,尽最大努力把它作为一个问题来解决,而不是把它当作一个随口的借口。就像,“哦对,当然,当然,当然。所有那些事情都会很好,‘但是中国!’,所以我们卡住了。我们什么也做不了。”

那么这在实践中是什么样子?如果你真的希望美国拥有比中国更强的人工智能,那么你就需要认真思考,美国的AI发展在多大程度上帮助了中国AI的进步。所以人们一直在谈论的、正如你提到的,就是蒸馏,也就是,“他们是否在使用美国的模型为自己的模型生成大量训练数据,从而比原本更快地进步?”所以我认为,尝试打击并防止这种情况发生当然是有道理的。

但另一个例子是安全性,以及中国行为者或其他行为者——坦白说——窃取算法秘密、窃取全部模型权重会有多容易。如果他们能窃取你的Astra或Mythos模型的权重,直接带回自己的服务器,你的领先优势就消失了。你现在领先优势为零。目前这些公司,尤其是较小的公司,但甚至包括OpenAI和Anthropic,都没有很好的安全性。

过去几个月里,我们看到这两家公司都有外部团队成功入侵了存放大量算法秘密的空间。在OpenAI的案例中,是他们的monorepo和GitHub,那里有他们所有的代码。而在Anthropic的案例中,我想——实际上也许OpenAI的案例也涉及这一点——黑客获得了Slack的访问权限。如果你能获得那种访问权限,你就能得到多得离谱的、关于如何构建更好AI的丰富信息。所以当我们的AI变得更好时,我们究竟是在延长我们的领先优势,还是只是在以这些不同方式拉着中国一起前进?

另一个方面是,认真地把中国当作这个领域中的一个行为者,认真思考他们的动机以及他们可能的行动和反应。在我看来,目前很多事情没有发生的一个巨大原因是,大多数人不相信这种威胁模型,即AI会变成机器之神,会接管一切,人类会全部死亡或沦为附庸之类的。

我认为人们不相信这一点是合理的,因为证据有些矛盾且不明确,但如果这确实是我们认为可能严重发生的事情,那么中国也不希望它发生。所以问题就变成了,“好吧,我们如何努力让他们达成共识,‘我们担心的这个威胁是一个真正值得担心的威胁’?”因为那样他们就会根据自己的自身利益做出自己的决定。

我认为,“好吧,美国必须用某种杠杆迫使中国做某事”这种做法永远不会奏效。但“好吧,看,如果我们认为这是一个会影响我们全人类的严重问题,而中国的人也是人,而且如果我们认为这是一个关于谁拥有控制权的问题,中国共产党真的非常想要控制权,所以他们会有自己的动机和自己的决策来解决这个问题”这种做法则不同。

好吧,让我给你把它放在一个光谱上。这很蠢,你会笑,但就跟着我往下想。在一端,是核武器,中国政府想要核武器,他们会尽一切所能控制那种武器,他们会以不同的方式经营他们的产业。如果他们越界,阿里巴巴的CEO就没了。他消失一段时间,然后又回来——中国政府的那一套。

我们也需要核武器。如果我们不先达到那里,我们就永远得不到我们需要的、通过相互确保摧毁来保障所有人安全的防扩散条约。这是一种框架。

在完全的另一端,我花了五年时间听电信高管告诉我,如果我们不先建5G网络,中国就会得到它们,然后就会发生某种事情。没有人能告诉我那个“某种事情”是什么。在5G和核武器之间的这个光谱上,美中AI竞赛处于哪里?

我认为我们需要另一个维度,因为在那个例子里,你的维度是重要性。但我认为可控性也是一个巨大的问题。所以就像,人们用的例子是什么?是核武器,还是《龙之家族》里的龙?

凯西·牛顿写过一篇很棒的Platformer文章,他解释说自己在看《龙之家族》时想,“这就是AI公司正在做的事。他们试图建造这些他们认为会帮助自己的东西,但实际上它只会降下毁灭。”

[笑]凯西告诉我他买了一个iPhone Duo,这样就能看更多电视。他是个好朋友,但好吧。

但我觉得这真的很重要,因为如果我们认为这是一项我们可以控制的技术,那么显然我们想要拥有最好的技术。显然,我们想要全速前进,尽可能快地到达那里,中国也是如此。问题是,如果我们不确定自己能否控制它,那我们该怎么办?也许我们想要更加谨慎,然后也许我们想要试着找出一种办法,不让中国就这样超越我们。但如果我们是对的,我们就应该担心——

所以那就是核武器。

嗯,不,但如果是龙的话,如果我们确实需要担心自己能否控制它,那么这对中国来说也应该是值得关注的事情。

我记得凯西的那篇帖子,但让我把它拆解一下,好让我理解。龙和核武器之间的区别在于,龙有一定的自主性,对吧?它们可以自己跑出去干坏事。

是的。龙可能就会决定烧掉你的整座城市。显然这些是机器——它们只是数学,它们不是魔法。所以与其说是龙,你可以把它想成控制设置有故障的核武器,你制造了核武器,但无法确定它不会自己发射出去,飞向一座城市,飞向你自己的某座城市,把你消灭掉。那是一种与现实中存在的真正核武器非常不同的技术。

确实如此。从来没有人对5G说过这种话。这一点我要说清楚。我之所以问这个,是因为那些问题确实能让民族国家站到同一阵线上,对吧?我们确实有核不扩散协议。

正如你提到的,民族国家有各种各样的动机不去随意发动网络攻击,因为那些攻击会带来现实世界的后果。有没有任何证据表明这些政府已经开始在这些问题上达成一致?还是说仍然纯粹是“但是中国!”那种竞赛动态?

我其实认为已经开始出现一些早期证据了。从政策角度、而非产品或经济角度来思考今年AI领域发生的事情,我认为我们看到了对人们两大主要担忧的两次重大展示。所以这两大主要担忧是滥用和失准,也就是说,滥用是坏人利用AI干坏事,失准是AI失控或做出我们不希望它做的事情。

所以今年我们有了Mythos,还有了Hugging Face攻击事件。这两件事都非常生动、清晰地展示了滥用和失准这两类担忧在现实世界中可能是什么样子。美国和中国政府在AI监管上的起点非常不同。它们都从各自在互联网监管上的起点出发。

所以美国的起点是“放手、自由放任、绝对什么都不管、你想干什么就干什么”的做法。中国的起点则是一个被大规模封锁的互联网,有着大量审查和防火墙。所以这是两个非常不同的起点。我不是中国问题专家,但我在中国圈子里活动很多,也在中国生活过等等。但看起来就在过去哪怕一到三个月里,从这两个非常不同的起点出发,它们在重大网络攻击的威胁以及失控的威胁上,正看到越来越多的共同点。

我是个语言爱好者,追踪中国在AI上使用的不同措辞真的很有意思。所以现在他们把失控当作一件事来谈,但他们通常的意思大概和西方人说的“失控”不一样,西方人说的“失控”就像是“AI接管”。他们大概指的是更平淡的东西,但有时候他们会谈“极端失控”,那也许就是我们所说的那个意思。

我确实认为已经开始出现一些趋同的迹象。我认为这将是一条漫长的路。美中关系的现状是,双方之间的信任会非常、非常、非常少。所以我不乐观地认为他们就能坐到一间屋子里,敲定一项协议,然后一切都会好起来。但我认为有足够的空间。基本上,如果有足够的共同威胁认知,那么在未来某个时候就有可能对此做些什么。

海伦,你给了我这么多时间。你可以看出来,我对这场对话非常满意。非常有趣。我们正处在新一届国会的开端。有一批新州长。数据中心公投在这个国家以压倒性多数通过。城里来了一批新的监管者,对吧?他们打算做点事情。

人们应该关注哪些迹象,来表明我们将走上正确的道路,又有哪些迹象表明我们只是在原地打转?

把AI放一边,忘掉AI。国会总体上现在非常不擅长通过东西。这不是本届政府的问题,也不是AI的问题。所以一个迹象就是,国会能通过任何东西吗?那将是个好迹象。

观察各州立法机构在AI方面一直在做什么,也非常有意思。人们一直很担心各州各自为政、拼凑出一套AI法规,不同州通过相互冲突的规定。

就我们今天一直在谈论的问题而言——我把它视为前沿AI风险,或者最先进系统带来的风险——实际上各州已经出现了相当协调一致的推进。加州通过了一项法案,然后纽约通过了几乎相同的法案,只是多加了点内容。接着伊利诺伊也通过了几乎相同的法案,又多加了一点内容。

我认为未来一两年会有很大的势头,在州层面继续以此为基础推进。所以这是我会关注的事情。哪怕单说加州,他们已经在研究如何加强相关措施。所以这是我会留意的事情。

说实话,我认为,面对这样一个民主党主导的国会,我也担心他们会在这里越界,会试图做一些过于大刀阔斧的事情。科罗拉多就出过这个大乱子,他们通过了一项庞大的AI法案,结果那是个糟糕的主意。于是他们又搞了各种委员会和后续跟进,简直糟透了。

我们现在需要的很多都集中在这些前沿系统上,集中在我们在很短时间内就可能拥有非常、非常先进的系统这一可能性上,并围绕这一点实现高得多的透明度,以及清晰得多的风险管理标准。对于试图搞一场真正全面的AI监管推进、覆盖整个经济中的AI以及各种不那么先进的AI系统,我不会那么兴奋。

有负面信号,比如“什么都不会发生”;也有负面信号,比如“哦,也许会发生太多事情”,但看看他们最终走到哪一步会很有意思。

我猜,随着这届国会开始运作、我们看到其中一些想法,我们会想请你再来。

我很乐意。

我很期待听听你的看法。非常感谢你来到Decoder。

非常感谢。这次真的很有趣。

有问题或评论?发邮件到decoder@theverge.com联系我们。我们真的会读每一封邮件!

来源

The Verge AI