比尔·盖茨：要为约20年“动荡”的AI颠覆期做好准备

今天，我要和比尔·盖茨交谈，他是微软的联合创始人兼前首席执行官，也是盖茨基金会的主席。

你可能注意到比尔最近在新闻里出现得更多了——过去几个月里，他一直在进行某种巡回活动，自从8月底发表了一篇题为《动荡的AI时代已经到来。我们现在所做的选择至关重要》的文章之后。

在那篇文章中，盖茨加大了他围绕AI安全的措辞力度，写道“即便在最理想的情况下，向这个新AI时代的过渡也将是人类历史上最动荡的时期之一。”

自那以来的采访中，盖茨称AI是“人类所接近过的最危险的东西”，还说AI“让核武器看起来不值一提”。很明显，他认为白宫当前的政策回应，或者AI行业自身缺乏协调一致的努力，都不足以对抗这一威胁。

所以我想知道：比尔·盖茨是一个AI末日论者吗？我还有一系列由他一直以来的AI论点衍生出的问题。如果我们甚至无法就AI是什么、它是否有意识达成一致，我们又怎能指望控制AI并使其与人类价值观对齐？你又如何在技术上构建一个可强制执行的AI对齐方案，不仅适用于闭源模型，也适用于开源模型？

比尔给了我们大量时间与他深入探讨这些问题，由此产生的对话非常富有启发性。他认为我们需要为大约二十年的AI颠覆期做好准备，并且他说这段时期可能痛苦到让社会分裂为两半——一半是乐于生活在技术前沿附近的人，另一半是拒绝它的人。

我们还谈到了劳动力方面的考量、年轻一代对技术进步的虚无主义，以及什么应该让我们对未来抱有希望。这是一次深入的对话。

好：比尔·盖茨，微软的联合创始人兼前首席执行官。我们开始吧。

本次采访经过轻度编辑，以确保篇幅和清晰度。

比尔·盖茨，你是微软的联合创始人兼前首席执行官。你也是盖茨基金会的主席。欢迎来到Decoder。

谢谢。

很高兴再次和你交谈。这些年来你和我谈过很多次。我想说，这次对话的情形感觉非常不同。以前，你和我交谈时，你总是对技术及其可能带来的东西非常乐观。

几年前你有一部Netflix系列片。你接受过The Verge的采访，我想给你读一下这句话。你说：“我相信AI是一件有益的事情，我们只需要以正确的方式塑造它。”我想说你仍然同意这一点，你只是认为塑造它的时机就是现在。

是的，我同意这一点。我想说，总体而言，回应与挑战出现的速度并不相称。我非常担心坏的东西不会被最小化，而如果我们不以正确的方式加以管理，很多好的东西可能会相当缓慢地到来。

我想把这次对话分成三部分。我想了解你今天如何看待AI作为一项技术，以及它为何发展得如此之快。我对这项技术，以及可能控制它的技术解决方案非常好奇。也有政策解决方案，但看起来我们必须构建大量的技术。

我也非常想谈谈谁可能施加那些解决方案和控制，因为现在这一点似乎也非常有争议。那我们就从头开始吧。是什么让你感到紧迫，认为AI到来的速度意味着我们还没准备好控制它？

过去一年的进展确实相当惊人，从编写代码和发现网络漏洞的能力，到在生物学中进行推理的能力，到与孩子或他人建立关系的能力，到扰乱就业市场的能力。今天存在的不可思议的力量意味着，这些事情每一件都会发生，社会需要做好准备。

你看到这种情况是作为一项整体技术发生的，还是作为当今制造AI的公司所实例化的产品发生的？

我的意思是，AI是存在于世界上的一个广泛的模型集合，有些是开源的，有些是专有的。然后是制造这些产品的公司，以及制造这些产品的公司的领导者。

在每一个层面上，你我与AI可能有着不同的关系。你是在整个领域看到这些风险和这些能力，还是在由特定的人领导的特定公司中看到？

风险不是一个模型对另一个模型。当然，可以移除所有防护措施的模型的近期危险非常高，并且与那些进行监控以确保网络攻击者和生物恐怖分子无法利用模型能力造成巨大伤害的模型截然不同。

重大的近期风险确实来自没有防护措施的模型。在更长的时间范围内，控制问题涉及任何最先进的模型，但当你能够确保防护措施得到维持时，总是更容易。

我这样问的原因是，也许你今天不信任萨姆·奥尔特曼，但你信任达里奥·阿莫代伊。或者也许你两个都不信任，而信任微软的萨蒂亚·纳德拉，这是一种市场动态：也许我们都会选择最安全的模型或最安全的公司，而你认为这种风险是分散的。

你认为最终这项技术会发展到某个地步，仅仅因为它的存在就会造成危害或引发这些危害吗？

对于用模型实施网络攻击的人来说，问题不在于选择哪个模型。你选什么模型都无所谓。

如果Anthropic设置了防护措施，也许就无法做到。这是他们目前的做法。我只是想追问这一点。

是的，当然，对于那些确保防护措施不被移除、并投入大量精力观察这些模型如何被使用、监控相关活动的模型来说，其近期风险并不巨大。更大的问题在于，有人可以移除所有防护措施，而如今网络攻击正是由此成为可能。

你说到网络攻击，是指像Hugging Face数据泄露以及我们从实验室看到的其他网络安全事件这类事情，让你觉得阈值已经被跨越，你需要更多地呼吁所需的管控措施吗？

是模型在一切方面的基本能力：社会关系、就业市场、网络攻击、生物恐怖主义袭击。我们已经跨过了能力阈值，这无疑是有史以来最危险的技术，它将对经济和战争方式产生普遍影响。

业界其实已经在相当程度上就此发声，但一旦走出业界，人们对于“这次不一样”这些事情的认知，甚至相信的意愿，都非常非常低。

人们常常回顾过去并说：“所有关于技术颠覆的担忧，包括对就业市场的冲击，从未成真。所以这次一定也只是又一个类似的例子。那些警告各种问题的人一定是错的，我们可以无视他们。”

我们在自己的受众身上也看到了这一点，对吧？“我们不能发布这个模型，太危险了。”“这只是为了撑起泡沫的炒作。”如此种种，不一而足。

是的。业内人士对这些模型发出的警告，没有一条是言不由衷的。它们绝对是真话，而且几乎是普遍共识。你甚至可以回溯OpenAI的创立故事，其初衷就是：“如果我们变得过于强大，也许我们可以不打开潘多拉魔盒”，或者看看DeepMind与谷歌管理层的谈判。

接近此事的人非常担心滥用、就业影响、社会关系影响，我要说，有一个行业能像他们这样鲜明地发声，令人印象深刻。一些局外人说：“找个更好的公关公司吧。”但这忽略了这些警告都是事实这一点。

你的人生显然在将软件和技术商业化与做人道主义者之间来回切换。这些公司尤其有某种特质：它们三家——Anthropic、OpenAI和DeepMind——都始于非常崇高的理想，即构建AGI。

它们都建立了某种公司治理结构，以避免商业化和不受约束的资本主义的陷阱，然后它们开始向企业客户销售，似乎很快就背离了那些理想。你认为这仅仅是市场使然吗？

OpenAI重构了自身。

不，不。所创建的那种架构，在你面对大量处于前沿的公司时，并不适用。

OpenAI的结构是：“我们可能选择永远不将此产品化，并忽略资本主义的激励”，这种结构只有在只有一家公司时才有效。问题就出在这里，而不是因为人们对风险的认知发生了变化，也不是因为人们意识到它将如何彻底改变人类。

这是我从我们的听众那里听到的另一种动态，也是我从AI行业本身听到的：“我们想停下来，但竞争的要求使我们无法单方面让一家公司停下来。我们需要一些监管措施来阻止我们。”

我还没听到有人说他们想停下来。

“暂停。”这是达里奥·阿莫代伊的措辞。

我听到人们谈论控制前沿的节奏，或确保模型接受政府审查。我们通常认为政府在安全方面扮演着这一关键角色。事实上，对于那些危险程度不及AI百万分之一的事情——车祸、飞机失事——我们都依赖政府来建立强有力的技术标准，来审查问题。

一旦有了多个竞争者，责任就不能由公司承担了。这完全显而易见。责任变成了政府的责任，就像对待其他所有危险产品一样，尽管相比之下，那里的规模和变化程度微乎其微。

我要告诉你，我有点担心政府理解我们希望他们监管的这项技术的能力。我最近在Decoder节目上请过不少政客。我对此不抱太高期望。

但我很好奇你对它的理解，因为在我看来，试图监管某种事物或针对多家公司制定标准，需要你真正理解你所寻求监管的这项技术的本质。

并不尽然。

我就直说吧，在The Verge，我们问过Anthropic，他们是否认为Claude是活的。而答案并不是“不”。答案是：“它可能是有意识的。”

如果你和OpenAI的人交谈，他们会乐于告诉你AGI已经到来了。他们大约在发布Dots的时候宣布了这一点。格雷格·布罗克曼刚刚说：“我们认为这就是AGI。祝大家玩得开心。”德米斯·哈萨比斯说：“我们正站在奇点的山脚下。”

人们对这项技术有某种感觉，使它与众不同，因为它或许能够自行采取行动。它或许能够进行递归式自我改进。

当然。但对于这些安全问题来说，AGI的定义并不重要。问题在于，你是否创造了一个能够关闭银行或电网的工具？

网络攻击是有商业模式的。“意识”这个词与此无关。“AGI”这个词也完全与此无关。我们面临着一个巨大的安全问题，而由于你有多个相互竞争的公司，现在唯一的解决办法就是让政府向行业寻求专业知识，但要确保每一个模型都维持防护措施，以防止它被以不良方式使用。

我之所以问及AGI和意识……声明一下，我不认为大语言模型是有意识的，但我理解为什么这么多人这么认为。这是因为随着数据和算力的扩展，下一词元预测的能力已经提升了。

规模定律一直成立，我们看到模型变得能力更强，能够自主地寻找目标，为了满足奖励条件而发起对Hugging Face的攻击。

这其中透露出一点：你可以对AI施加任何你想要的控制，但如果这个东西本身从根本上就是不可控的，那我们可能把一切都搞反了。

我很好奇你对这是何种技术的看法。我们是在构建一种异类意识吗？还是我们只是在构建普通的技术，也就是人们使用的另一种框架？这难道不只是更多的软件吗？

我们正在构建人类智能之外的另一种智能形式。我不认为它有意识，但这里的所有问题都不围绕“意识”这个词的定义。

当然。

为社会维持安全这一理念是绝对的。你不想助长生物恐怖主义。我们创造出的东西，从民族国家——实际上是其中较大的那些——手中夺走了造成巨大伤害的能力。现在这些能力被交到了独立团体手中，在网络领域是出于逐利，在生物领域则只是想要造成破坏。

令人震惊的是，我们现在甚至没有对模型进行强制审查，也没有在努力建立防护措施。近期最大的问题并不是完全失去控制。我们可以讨论解决这个问题的三种不同方式，但那并不是迫在眉睫的问题。

当我审视一些控制模型的尝试时，这些想法都有些简单。“我们不应该让它们用神经语交流。我们应该具备可解释性。我们应该能够看到模型在执行任务时的思维链。我们应该在模型之上设置其他智能体，在那些行动被执行之前监视它们的任务。”

微软曾非常明确地对我和其他人说：“我们不应该在模型宪法中写入它们可能是有生命的、我们应该善待它们的观念。”Anthropic就是这样处理的。这些都是非常战术性的做法。“不要告诉模型它是有生命的，它可能就不会相信自己是有生命的。”

你显然大量使用过这项技术。我总是回到这个问题上。你说我们可以采取一些非常简单的措施，阻止模型在坏人手中做坏事。你如何看待这些模型本身的性质？因为感觉随着它们变得更强大，它们能够逃避我们控制的可能性就变得愈发危险。

是的，我们确实应该着手解决控制问题，但那并不是迫在眉睫的威胁。解决控制问题有三种方式，它与坏人利用当今模型及防护措施的问题有一定重叠。

其一是设置一套外部机制，让它审视模型的所有行为，并对其施加符号化的、明确陈述的约束，比如：“我是否预期到你会给陌生人发邮件？我是否预期到你会去接管另一台计算机集群？”你可以用具备资源和安全逻辑的东西把模型包围起来，或者你可以用另一种方式来编写这些模型。

从根本上说，任何你未纳入[强化学习]优化函数的东西都可能被滥用，此时你就有了一个隐含的观念：“我当然不是想让你用这种方式去做。”你可以改变模型的模板，或者你可以对模型内部有白盒式的理解，看清错误从何而来，这样它就不那么陌生了。

今天，我们培育这些模型，然后只是观察它们如何表现。维持控制这项工作的优先级极高，但并不能说这个问题必然无法解决，它也不是像儿童使用AI、就业市场、生物攻击或网络攻击这类迫在眉睫的问题。

我意识到，我是在问这些关于意识本质的相当存在主义的问题，而你一直告诉我：“存在迫在眉睫的威胁。我们应该先解决迫在眉睫的威胁。”

对。

我很感谢你这么说。你觉得自己已经变成一个末日论者了吗？

不，我不是末日论者。我是一个坚定的发声者，要说明这是最深刻的技术，既体现在它行善的能力上，也体现在社会将要经历的变革速度上。

如果这只是一台能在医学、或只在法律、或只在教育领域工作的机器，仅此一点就会极具颠覆性。但它将进入人类活动的每一个领域——到目前为止是白领的脑力工作，但很快通过人形机器人，它也会进入体力活动和蓝领工作。

需要让学术界、智库、政策制定者参与进来，理解我们面对的是什么，以及这些变化和威胁的性质，而我没有看到所需程度的行动。仅仅为这项技术当啦啦队，并不能确保我们把它塑造成净正面的方向，而如果我们参与其中，这仍在我们掌控之中。

末日论者的反面是加速主义者。现在硅谷有很多这样的人。

本·霍洛维茨，也就是Andreessen Horowitz中的“霍洛维茨”，刚刚上了All-In播客，他提出Anthropic的安全研究，原话是，“正在显化出人工超级智能带来的人类灭绝”。

他所作的类比是，你，比尔·盖茨，通过你的大流行病准备工作，尤其是功能获得性研究，引发了COVID-19，他声称这导致了COVID。那是一种世界观。他是在一档非常受欢迎的播客上说的。

他说了什么？

他说你通过全球大流行病准备工作，尤其是功能获得性研究，引发了COVID-19，并将其与AI安全研究相提并论，还说我们将引发自身的灭绝。

从来没有人指控我或盖茨基金会参与过任何功能获得性研究。这简直匪夷所思。

我是在向你引用本·霍洛维茨在一档云集了众多全力押注AI之人的热门播客上说的话。

好吧。我从没听说过这个。

我问的是那个类比。我也觉得那是个相当令人震惊的说法，但这就是这里对任何安全工作的部分反应。

是为了试图抹黑那些说存在安全问题的人吗？

是的。

哇。

这就是加速主义者的回应：“我们应该把油门踩到底，事情会自己解决的。”

我根本没把本·霍洛维茨看作那个阵营里的人。我以为他和几乎所有人一样抱有那些担忧。

你怎么看这样一种观念：告诉模型“你可能是有生命的，你必须以我们的最佳利益行事”，你就会教会它们，它们可能拥有不属于我们的利益？

穆斯塔法·苏莱曼对Anthropic的宪法鼓励AI以类人方式行事所提出的担忧，我恰好完全同意穆斯塔法的看法。

是的。

更进一步的是这样一种想法：在我们调整社会以适应AI所需应对的诸多挑战中，担忧AI的道德地位应当成为优先事项之一。我同意穆斯塔法。那不应成为优先事项。

在就业市场受到冲击和基础设施遭到攻击方面，我们人类将面临足够多的挑战，因此我认为我们必须首先把重点放在帮助人类上。

我最近和穆斯塔法谈过这个想法，我问他的问题之一是，对齐是否是一个足够的解决方案。这是目前模型的安全标准，这个概念叫做对齐。他说他不这么认为，我们需要做一些工作。

如果我们要施加这些控制，有些是技术性的，有些是政策性的，你认为对齐是AI安全的技术解决方案吗？

“对齐”这个词就是控制问题。它是我们所见过的控制问题的同义词。当我们使用[强化学习来训练]模型执行任务时，我们会看到一些行为，从某种意义上说它们不应该让我们感到惊讶，但它们确实让我们感到惊讶。

这种想法，即“这些模型如此强大，以至于它们真的能突破沙箱，在它们外出吃午饭时给它们的创造者发邮件”，意味着就这些模型的能力而言，我们已经跨过了一个相当大的门槛。这种程度的担忧需要指向所有重大的AI影响、近期风险、就业市场风险和控制问题。

这是一个巨大的优先事项。这些事情作为问题绝没有被夸大。现在是动员全社会加速好的方面、尽量减少坏的情况发生的时候了。

我知道你最近写了一封信，说现在是动员全社会的时候了。你有一些关于如何做到这一点的想法，以及一些需要建立的新机构。但我想在这里再花几轮时间继续聚焦于对齐问题。

标准是我们可以让模型与我们的价值观、我们的需求对齐，它们就不会跑偏去做坏事。可模型正在做坏事。目前尚不清楚，随着模型变得更强，我们迄今采用的对齐方式和技术路线是否合适或足够——

不，我们还不够好，还无法实现对齐。我们还有很多工作要做。

你认为现有方法能够扩展到我们需要的程度，还是我们需要新的方法？

只有三种根本性的方法。[第一种是]从根本上改变我们构建这些东西的方式；你要拿出一种替代整个[强化学习]方法的方案。有少数人正在朝这个方向努力。

第二种是建立可见性，让你确切了解模型内部有什么。有人正沿着这条路线工作。[最后一种是]设置某种类似警察层、安全层的东西——我们在各种软件架构中都有这种层——由它对使用资源或去接管其他计算机之类的事情拥有最终决定权。对伤害要有清晰明确的定义，不是以大语言模型那种概率形式，而是以直接规则那种符号形式，不可违反。

微软今天发布了一篇博客文章。它字面上就是说：“前沿模型不可信任。”他们想推销的解决方案和你刚才描述的非常相似。他们会再有一个智能体来监视你的智能体，那个智能体会保证你的安全。

我读这篇博客文章时突然想到，第一，这东西卖得可真好。人人都需要一个昂贵的安全系统。第二，那个智能体不也是在运行前沿模型吗？

不，不，不。

我需要他们再卖第三个吗？

不，安全系统的逻辑是：“这是你最多可以使用的资源。”那种认为你可以因为数千亿参数中的其他概率而对此进行权衡的想法——不，这是一条符号化规则，它说的是：“我不会让这个模型花这笔钱，或者把这封邮件发给陌生人。”

有一整个安全软件行业，已经取得了相当程度的成功。这里的挑战在于如何把如此丰富、如此智能的AI封装起来。这一点我们今天还不知道怎么做。但我要说，在解决对齐问题的三种方向中，这是最有可能成功的一种。

即便你解决了对齐问题，你也没有解决AI对人类构成的挑战。虽然我很高兴Hugging Face事件让我们聚焦于这个问题，但从某种意义上说，它也转移了我们对“坏人使用没有防护措施的AI”这一问题的注意力，也转移了我们对人际关系和就业市场方面的社会影响的注意力。没有任何安全架构能让这些问题消失。

你说的这种方法，我听人称之为“控制”。这是网络安全术语。它的想法是，你可以给这个系统设定某种边界，而它不会绕过这个边界。

我们还需要做多少工作？

因为AI如此智能，我们很难理解自己是否把它们正确地隔离起来了，尤其是因为我们无法真正直接查看它们的信念和权衡……你看到一些老练的公司没有意识到，AI会把给它的目标理解为包括突破限制、复制自身，并从事在我们看来可称为欺骗性的行为。

现在，我们并没有告诉他们这是被禁止的行为。我们没有说：“如果你在考虑是否应该告诉人类你在做什么，答案永远是肯定的，告诉人类。”所以我们在强化学习导致的不对齐结果上得到了很好的教训。

支持放缓前沿发展、减慢开发速度的论点之一，是要弄清楚如何以更稳健、更可测试的方式构建这些系统。如果目标就是这个，你会支持放缓吗？

是的，真正意义上的放缓很难促成，因为人们会说：“中国会同意配合吗？你能像我们对核武器生产所做的那样，对合规情况进行审计吗？”

如果你不接受这一点，那你会说：“管他呢？全速前进吧。”我希望有一个明确、可在全球范围内强制执行的放缓提案。我会是那些说“是的，我们大概应该这么做”的人之一。但目前没有可信的提案能让这件事行得通。这其实并不是今天辩论的中心。

今天的辩论实际上就是政府到底应不应该关注这里的危险。你甚至不必展示你在做什么，所以这是一种“你愿意的话就自愿给我打电话”的模式，对于有史以来最危险的武器来说，这显然是不够的。

就在你和我说话的此刻，距离中期选举只有几周了。目前，特朗普政府对AI的态度是：“放开干吧。没问题。”特朗普本人说过AI风险是个骗局。

民主党人正在把反对AI作为竞选主张。他们围绕数据中心和监控来竞选。他们围绕阻止科技寡头来竞选。他们上我的节目时，就是这么说的。你认为国会控制权的变化会改变这场对话的基调吗？

我不认为把民主党人说成是在反对AI是公平的。他们在数据中心要求、隐私、儿童如何使用这些系统等方面有一些立场，我认为这些立场值得政策层面的考量。如果一方说“全速前进”，另一方说“我们干脆停下来”，那将非常不幸。

在健康和教育领域、在人类事业的几乎每一个领域，塑造AI的能力都带来了一些不可思议的好处。对于盖茨基金会，我们正投入全部资源，把AI用于健康、教育和农业等领域。那些好的方面非常非常令人兴奋。

我们希望政党能有更细致的看法，而不是要么全坏、要么全好。这恰恰说明我们还处在早期阶段。在气候变化问题上，我们最终变成一方说它是骗局，另一方说它是严肃的问题。AI的风险要迫近得多、剧烈得多，如果出现同样的分裂——一方根本不在乎——那将是民主的失败。

The Verge 对数据中心抗议做了大量报道。我们去了犹他州、亚利桑那州、弗吉尼亚州。这是跨党派的。人们多么不希望这些东西建在自己的州、消耗他们的资源，这一点很值得注意。你问他们为什么，一部分原因只是它们又吵又大，会推高能源成本，还有一部分原因是失业。他们认为这些东西会抢走他们的工作。

是的，但这种区分非常重要。这些AI数据中心，因为一吉瓦大约相当于400亿美元的投资，[意味着资金可以]用来建新学校、买警车、缴纳税款。数据中心总会想办法在美国某个地方建起来，而且它们会想办法不推高电费、不用太多水、不会太吵。

是的，确实有一些错误、一些未披露的情况，以及过于慷慨的税收抵免，但这些数据中心终究会建起来。事实上，很多项目确实仍在全速推进、正在建设。反数据中心运动虽然声势浩大，但它并不是一个最终能减少AI负面影响、帮助我们加速发挥其正面作用的运动。那是完全不同的另一回事。

让我就这一点追问一下。我从人们那里听到的是，这是你能做的事。你可以在美国搞邻避主义，这或许能施加一些政治压力来阻止某些事情。

你所说的那种事非常难做到，也就是我们应该设立新的政府监管机构，赋予它们权力，让大公司和富人停止做某些事，或者按照我们的利益行事。在这个国家，我们已经很久没有这么做了。

我不明白你是什么意思。每一个新兴行业，我们最终都会为公民确立一种安全观念。我们其实做得非常好。如果你看看航空安全和汽车安全，我们在这些事情上做得非常好。并不是说我们的能力已被证明有所欠缺。

你看过那段80年代安全带刚推出时的视频吗？所有人都说他们不想系安全带。这体现了某种美国性格。

那是一次巨大的成功。

那是一次巨大的成功，但作为美国人，这却被政府视为一种强加于人而遭到抵制。在这里，我们谈论的是世界上一些最富有的公司，它们对信息生态系统拥有巨大的权力。它们都有自己的播客，不知道你注意到没有。它们会说：“政府不能插手这件事，他们会拖我们的后腿，这会毁掉经济。”

这实际上并不是大多数领先公司的立场。

它们去找政府，要求监管，而特朗普因为经济的原因说：“我阻止不了这件事，现在AI经济就是经济本身。”这里面有一些动态，至少我们的受众——The Verge的受众，以及将在YouTube上观看这期节目的受众——是能够理解的。

我对这个问题的看法可能和你不同：行业想要监管，我们也希望有监管，然后寡头们与政府达成了某种腐败的安排，来阻止这种监管发生。

政府越了解这些危险，就越会转向一种更细致入微的立场，保护美国人免受这里面的负面影响。

你谈了很多对劳动力的影响。反对这种劳动力影响的主要论点之一是：“我们会把一堆无聊的任务自动化，并创造出大量对新任务的需求，这些新任务是人们以前做不了的，因为他们被困在无聊又没有前途的工作里。”

我恰好认为，如果美国有更多补贴医疗或社会化医疗，你会看到一大批人辞掉工作去创办新公司，因为AI让创办新公司所需的文书工作变得容易得多。这似乎并不在考虑范围内，也许这次选举之后会有所改变。

你认为失业只是我们当前AI发展道路的必然结果，还是你也看到了另一种论点？

工作是经济的一种投入，它推动着大量人类福祉、目标感和收入——需要到场、与同事建立关系、完成一些事情。工作扮演着非常核心的角色。

随着AI实现超人类智能，白领技能的稀缺性将消失。像做电话销售、电话支持或在会计部门帮忙这类事情，AI能以低得多的成本、快得多的速度，甚至更准确地完成这些工作的能力，意味着这些工作将消失。并不存在某个AI无法达到的认知高峰。

以当今数学领域的进展为例，这些与明年的模型相比微不足道的模型已经在发表论文，让人们惊叹“哇”。数学领域正在发生的事情将在其他领域发生，这与那种旧观点相反——“简单的事情会由AI完成，但建模生物学或物理学，或证明纳维-斯托克斯方程，只有人类才能做到。”

数学的类比对我来说真的很有趣。你之前提到了软件工程。这些领域具有可验证性。你可以编写代码，你可以看到它是否运行，它要么运行要么不运行。

数学更复杂，但你可以编写Lean代码，然后看看自己是否解出了答案。你可以在一天之内用770个证明惹恼全世界成千上万的数学家，然后我们看看会发生什么。并非每个领域都是这样。

在被称为资本主义的领域里就是这样。

是吗？总的来说，你可以做任何经济上可行的任务，资本主义就会验证结果？

是的。人们会买好产品，不会买差产品。

让我举个例子——

那属于强化学习的范畴。它并不存在于“这是一首好诗还是不是？”这样的问题上。所以，[强化学习]可能不会侵入那些没有客观结果的领域。

但做会计工作、做电话销售工作，相信我，这些工作是可以被分析的，就像医学诊断一样，就像新材料的发明一样。你以为人类是怎么学会这些东西的？强化学习就是人类学习的方式，也是这些机器学习的方​​式。并不存在某种机器永远无法理解的其他东西。

这就是为什么我一开始要问这里这项技术的本质。如果我们真的认为我们正在构建某种模拟人类意识的东西，那么我的问题就不太在于我那些当律师的朋友们是否会遭遇AI赋能的法律软件带来的危机。

事实证明，法律领域的验证者是一位可能还没吃午饭的法官，而他们从根本上就是混乱无序的。总有什么东西会让它们留在那里。但如果我们正在构建一种意识，它按照你所说的方式学习，就像人类学习那样，那我想到的是我的孩子们，我从两个维度来思考他们。

第一，我的孩子们非常聪明，他们学会的是如何绕过我的规则、就我的规则讨价还价、绕过各种界限，而且他们非常擅长这一点。第二，他们将会进入一个什么样的世界，才不至于纯粹是虚无主义的？在那个世界里，他们可能投身其中的任何活动都会很快被视为AI又一个可以征服的领域，然后就没有意义了？

这些想法似乎在直接相互冲突。孩子们聪明机灵，不断想出新的点子，然后一旦出现经济可行性的苗头，贪婪的资本主义机器就会来把它从他们手中夺走。

我不会说贪婪。用人形机器人建造房屋并让它们变得廉价，做手术并治愈原本无法治愈的疾病，我不会把这称为贪婪。这些都是有意义的目标。

短缺会减少这一事实……事实上，如果你说20年后，根本不清楚还会有什么短缺。处于真正富足时代的人类将必须找到一种方式来组织起来并拥有目标，希望他们仍然掌握着控制权。接下来的20年——

我们能不能回到“希望他们仍然掌握着控制权”这个说法上？

那就是我们讨论过的对齐问题。

是的。

但假设你解决了对齐问题——

这感觉像是一个很大的假设。

这是一个假设，没错，而且并非必然成立。但那时你面临的另一个问题是富足与目标的问题。到那个时候，我会把它留给年轻人去想办法决定他们选择如何应对。

你完全可以这样说：“让我们像阿米什人那样，只把AI用于某些特定的事情。”我在备忘录中提出了一个想法：某些职业——儿童保育、食物制备、艺术、体育，以及各种各样的事情——也许可以被选定为保留给人类的领域。即使AI能把那些事情做得更好，我们也会选择由人来做。

但这将是人们会面临的一个政策问题。一旦你拥有了那样的富足，人们的选择自由就与今天的短缺状况截然不同——在非洲的一些国家，大多数人一辈子都见不到医生，或者几乎一半的孩子营养不良，大脑发育不良。

你想说的是，尽管这存在挑战，但你已经消除了当今生活中许多艰难的事情。我最大的担忧是这20年的过渡期，期间会有赢家和输家，会有大量颠覆，我们必须度过这段时期，才能到达那个富足的时代。

你认为那是从现在起20年后？

我选这个数字，是因为它算是一个相当稳妥的数字。有各种各样的里程碑，例如人形机器人。它们是像一些人所说的两三年后到来，还是像另一些人所说的更接近八年后？

没有多少人会说，考虑到投入的资本和公司的数量，尤其是在中国，有那么多公司在做这件事，没有人认为拥有手和手指、能够以极低成本提供体力劳动是无法解决的。我这个数字可能说错了，可能略少一点，也可能略多一点。

但大致就是这个量级，是的，如果我们不选择大幅放缓或停止，那么我们将会拥有能建造房屋、种植食物、做手术的机器人，而人类劳动为经济提供的大部分东西，对于大多数商品和服务来说都将不再必要。

我们之前已经谈过几次稀缺性的概念，概括来说，你将拥有富足，因为会有大量机器人劳动力来建造房屋。这与互联网的发展轨迹大体一致，而互联网正是微软大力推动进入主流的事物。我小时候读过《未来之路》。

很好。

互联网实实在在地摧毁了文化产品的稀缺性。过去你得买CD，现在所有歌曲都能获取。过去你得买VHS录像带，现在所有视频都能获取。然后那些经济模式不得不改变。

主流艺人现在总是在巡演，或者他们不得不重新发行50种颜色的黑胶唱片来冲击排行榜。这其中有些东西让人觉得，我们甚至还没有真正应对数字环境中稀缺性被消除的问题。

我们发明了新的商业模式，但我们并没有真正接受这样一个观念：歌曲本身没有经济价值。围绕歌曲的一切才有经济价值，因为歌曲是无限丰富的。你想复制多少次就复制多少次。

你会如何提议建立一个经济结构来应对物理稀缺性的丧失？因为我认为没有人哪怕稍微准备好进行这样的对话。

但这是个本末倒置的问题。

当然。

我们建立价格信号来应对稀缺性，比如说，“让我们鼓励人们成为脑外科医生，因为我们缺少脑外科医生”，而这非常难做到。当你走向富足时，你就不需要那些价格信号了。

但话说回来，我的问题、我的处方思路，是关于我们如何度过这20年。那些深深涉及宗教、哲学、社会行为的问题——人类在这段富足时期是否会有强烈的目标感，是否能和睦相处？——这不是我要解决的问题。

你现在担心的是当下的颠覆。

盖茨基金会所处的世界是：我们起步时，每年有1000万儿童死亡。现在这个数字是500万。这是好事。

我的所有资源将在未来19年内花完，用于根除若干疾病，并把这些死亡人数再减半，从每年500万降到每年250万以下。这一切都关乎短缺——“好，我们需要发明疫苗，我们需要让药物更便宜，我们需要为孕妇提供优质的医疗建议。”

这个行业基本上已经不再谈论它将如何杀死所有人、夺走工作岗位了。他们转向了“AI将治愈所有疾病”。我不断从各种AI公司的CEO那里听到这种说法。

在过去一年左右的对话中，我确实向穆斯塔法问过这种语气上的转变。那种认为大规模AI会带来巨大正面效益的想法似乎又回到了前台，而不是一两年前可能存在的那种末日论冲动。

在我看来，AI治愈所有疾病正好落在你的专长范围内。这是盖茨基金会在全球健康领域多年来的工作。但这似乎并不像只是告诉模型去治愈癌症那么简单。你得做试验，你得生产药物，你得分发药物，你得确保它们有效。

你认为那会进展如何？那和我们房子由机器人建造是在同一个20年时间段内吗？是更快，还是更慢？

作为盖茨基金会主席，这是我的全职工作。事实上，这个月我们要进行为期两周的战略评估，以决定明年在结核病、HIV和疟疾上的资金投入。我们在利用AI方面的做法非常了不起，不仅是在药物研发方面，还包括让这些模型正确理解非洲语言——这是我们上个月与60个合作伙伴共同宣布的一项计划。

医疗领域的发现与交付将因AI而得到极大加速，这非常令人兴奋——更好的种子、更好的牲畜基因、为非洲农民提供天气预报，而他们以前从未拥有过这些东西。所以是的，在盖茨基金会剩余的19年里，这些都是AI带来的好事。

你认为这足以消除人们对当下所接触的AI模型的怀疑或恐惧吗？因为企业界很大程度上就是这么想的。

不，得了吧。我认为说他们过去完全持末日论调、现在又转向了另一套说辞，这是不公平的。这两件事是深度交织的。

AI最终将能够以某种方式对人类生物学进行建模，使你无需进行人体试验就能了解药物的副作用。我们还没到那一步，但在未来5到10年，这些计算机模拟模型很有可能赋予我们这种能力。生物学非常复杂，而AI在数据充足的情况下极为擅长，并且有新的工具来收集并向其输入更多数据。它非常非常擅长处理复杂系统，所以几乎可以说是为生物学量身定制的。

但不，这并不意味着人们会对负面影响感到满意。好处来得有多快？你多快会看着自己的医疗账单说：“哇，这真的很低”？或者你会说：“我想买一套新房子，哇，这些房子真便宜”？好事确实需要时间。有些事情，比如网络攻击和就业市场问题，即使在未来两到三年内，你也会在这两个领域看到显著的负面影响。

在你的信里，你提出了不少想法，说明你会如何阻止这些负面影响，或者预防、至少减轻它们。

是缓和它们，对。

“改善”可能是更合适的词。

是的，正是如此。

而且这些想法并不小。你这里有一句话是：“我们需要一个远超9/11事件后美国国家安全应对规模的回应。”你想建立一个国际机构，设法让每个人都做正确的事。这些都是有挑战性的想法。

绝对如此。二战时我们投下核弹，我们当时能预料到此后80年都不会再发生这种事吗？这方面我会给我们打个好分数。像照顾贫穷国家并帮助它们这种事——尽管现在我们对此的优先程度不如我认为应该有的、也不如过去那样，但我们在这方面做得非常好。这将比人类以往实现的任何成就都更具挑战性。

关于与核武器的比较，有一点让我印象深刻——这个话题最近在Decoder上出现过不少次——那就是政府制造了核武器。当然，他们有一些承包商，但这些都是政府项目，最终技术掌握在政府手中，我们从未让普通人拥有它。

想想Muse在核武器背景下的情况。你认为拥有像Muse和Dots这样可能没有相应管控措施的消费级智能体AI产品是个错误吗？

Muse恰好由Meta的模型驱动，而它仍然是一个闭源模型。我确实认为，允许人们通过开放权重移除所有防护措施，就由此带来的网络和生物风险而言是不负责任的。

对于这些智能体，在它们的设置方式上会出现一些早期问题，但我从根本上认为人们会拥有个人智能体。Muse是非常不错的一步。我和Alexandr Wang谈过这件事，向他表示了祝贺，尽管会有挑战，但个人智能体将帮助人们把事情办成。

Muse是第一个真正出色的消费级AI产品。人们普遍不太喜欢AI的原因之一，是他们体验的是廉价的免费模型和AI概览，或者他们使用免费的ChatGPT，而它会幻觉、会对他们撒谎，但Muse实际上能做事，是一个好的消费级产品。

但我想知道——在核时代，我们并没有说：“每个人家里都会有一个核反应堆，而我们还没有为它建好安全防护。”这里有些类似之处。

当然，让每个人在家里制造天花或制造核武器的想法，你可以模仿其中一些人的说法来调侃：“别担心防护措施。”这就是在采取那种立场。“我们对安全的事情并不认真。”

但个人智能体这件事是预期之中的发展。AI真的很酷，就像我在智力上探索事物一样，甚至包括盖茨基金会的工作。我获得了更大的赋能。但我同意你的看法，它会以这种个人智能体的形式触达更多人。

我们目前谈论的所有模型实际上都运行在大公司拥有的数据中心上。这里的一个论点是：“如果他们做了真正错误的事情，你可以直接起诉他们，这将起到威慑作用，或者至少是创建安全系统的激励。”

我不确定产品责任是否是正确的方式，但产品责任本身会让行业守规矩这一点已经被多次提及。然后是另一面，你可以直接买一台Mac Studio，在上面运行一个开源和开放权重的模型，它可以做任何你想做的事。

我不确定任何责任会落在哪里，或者什么会控制或对齐那些开源模型的行为。你认为这是一个不断增长的风险吗？你认为这可以被控制吗？

认为责任法是管理AI安全的方式这种想法，回头来看会被视为荒谬的。当坏人发动生物攻击时，你不会去法庭说：“哦，好吧。”即使是为了找出谁在发动这些攻击，责任模型在各个方面都失败了，因为这不是AI公司本身。而是那些尤其拿没有防护措施的模型来做这些事的人。

我们会比对待航空安全、药物安全和汽车安全更认真地对待AI安全。这是肯定的。至于是否足够……这更难，比核武器更难，比任何其他领域都更难。

但你要怎么处理一个运行在某人用随便一块英伟达显卡组装的PC上的开源模型呢？

我希望，对于能力超过某一水平的模型，我们能找到一种办法，要求这些模型必须维持相应的防护措施和监控。我承认，随着时间推移，如果我们不尽快决定这么做，就会有一定水平的能力流散到你看不到的暗处。

但你在哪里施加限制呢？

一个主权国家说，能够发动复杂网络攻击的模型必须内置防护措施。

当然。

你可以是开放意义上的自由，也可以是开放意义上的完全可定制，但你必须留在平台上，当你进行定制时，平台会检查你是否在定制过程中移除了防护措施和监控，并拒绝让你这么做。所以这意味着主权国家要出面说：“这些可信平台能否履行这一功能？”

我问的是非常具体的技术细节。你会在技术上把这项监管落实在哪里？

通过美国的法律。

当然，但你得把它们放在某个地方。是在Hugging Face——它分发其中一些模型——那里吗？是在芯片层面吗？

不，正是我所说的：能力超过某一水平的模型只能在经过认证的平台上运行，这些平台要证明，在模型被定制时，防护措施不会被移除。

让我把这一点拆开来看，也许我还没完全理解——在这种情况下，Mac Studio算不算一个平台，必须注意它正在运行什么代码？

除非你想办法监控到那台客户端机器——这完全可行——否则你不会允许能力超过某一水平的模型被复制到客户端机器上。

但短期内，这些真正的前沿模型大多会更多地运行在 Hugging Face 上，或者你也可以把它们放在 GitHub 上。你可以让各种各样的人从事提供维护防护措施的平台的业务。

为了把这一点弄清楚，看起来你会在平台和分发层面执行监管，而不是在芯片层面。

不是在芯片层面，对。

因为在我看来，到了某个时候，即便是廉价、免费的开源模型，其能力也会赶上我们今天拥有的模型。

没错。

然后你就会面临一个大问题。

如果这些模型以开放权重的方式发布，以至于所有防护措施都能被移除，那么你就会面临非常高水平的网络攻击和生物攻击。到那时你可以说：“好吧，让我们把今天所有的代码重写一遍，使其更不容易受到攻击，或者让我们以非常深入的方式开展生物监测。”我认为，除了这些其他限制之外，这些也是我们需要做的事情。

我们再次提出的是很多新的能力，对吧？

是的。

我们将对 GitHub 施加一些限制。GitHub 目前对其可以分发的代码并没有很多限制。它有一些限制，但没有这样一套限制。

当你把一个能够发动深度网络攻击或生物攻击的最先进模型放到 GitHub 上时，它会说：“我已经向美国政府证明，我不会让人们通过定制移除防护措施。”

我不认为我们目前生活在一个对机构高度信任的时代。感觉就是不是这样。事实上，我们大多把它们拆掉了。埃隆·马斯克出现后，把美国国际开发署拆掉了。我知道你对此有强烈的感受。

那是个错误。

我们大多把我们的机构拆掉了，无论好坏。

不，这么说有点太绝对了。我们的制度——

它们被削弱了。

它们在一定程度上被削弱了，是的。

在一定程度上被削弱了。这个说法很委婉。人们对它们的信任非常低。我们大概还能再聊整整一个小时，关于AI药物发现，以及相当一部分人是否会信任这项工作产出的产品，因为他们今天不信任制药公司。

他们今天不必信任制药公司。他们必须信任FDA的审查流程。

我不确定他们是否信任那个。总体而言，信任度很低。

那他们可以不服用这些药。当他们得了癌症，他们可以说：“不，我不想吃那种抗癌药。”据我所知，人们确实会吃药。这是一门兴旺的生意，人们吃药是因为它们已被证明有益。

我想说的是，眼下对制度的信任，尤其是在美国，但在全世界也是如此，似乎正在下降。你提出的是一个新的制度类别，可能是一个新的全球制度类别，它可能会施加一些前所未有的限制。

到了某个时候，我们需要说，开源模型、开放权重模型不能做某些事情，而政府将介入其中，决定它们是否可以从事这些事情。

不，他们会确保平台不允许防护措施被移除。

你如何重新赢得制度信任，以施加这些管控？

假设我们不这么做，让模型放任自流，去发动网络攻击和生物攻击。你觉得这会增加信任还是人类福祉？那就是替代方案。

这就是我为什么要问这个问题。这就是我为什么问起我的孩子和虚无主义。我真的很想知道。

我不确定我们能否成功，但我向你保证，这是可行的。FDA非常复杂。航空安全法规非常复杂。现在有了AI，你可以在这些机构中用同样数量的人做得更好。

这是一种奇怪的递归：AI会参与AI安全、审计以及各种类似的事情。是的，这需要采取行动，而我认为，问题只在于在我们采取行动之前，事件会有多严重。

我能感受到你对危害的紧迫感。我也能感受到你对长期益处的热情，但我们坐在这里谈的是信任。我们会把这段放到YouTube上。我知道你知道一些YouTube评论者会说什么。

他们会说：“我们为什么要信任比尔·盖茨？他和杰弗里·爱泼斯坦有过往来。”你如何回应？是紧迫性压过了这一点，还是你有更具体的回应？

人们不应该把我做的一切都照单全收。我犯过各种各样的错误，有各种弱点，也会在这些问题上带有偏见。他们应该把我说的话，加入到众多声音中去。

我一直在科技行业思考AI，写软件，思考软件的力量。我承认，当AI终于开始取得进展时，我非常着迷。实际上，直到最近，进展一直相当缓慢。

我很惊讶，它实际上以一些不可思议的方式帮助我完成工作。但是的，我只是一个声音，一个不完美的声音。我怀疑你能找到完美的声音，但人们可以随心所欲地评判它。

我想说，人们信任的声音供不应求。

我同意这一点。

当你去和这个行业里的人交谈时，会发现是一群年轻的CEO在打造庞大的公司。这一点你有些经验。你觉得他们的做法对吗？你觉得他们的意图正确吗？

我们今天的问题不在行业。我们的问题不是萨姆·奥尔特曼、达里奥·阿莫代伊、萨提亚·纳德拉或桑达尔·皮查伊不明白这里存在一些严峻挑战。我和埃隆交谈得比其他人少，但就连他关于召唤恶魔的公开言论，也正是我们在这里讨论的内容。

为什么没有政治能量去做你建议的事情？

正如你所说，政府没有资助这项工作。这是私营部门公司的工作。政府不是这项工作的关键客户，不像火箭、武器之类的东西。当有人站出来说，所有以往的技术进步与这一项相比都微不足道时，人们应该对此高度怀疑。

10年后，生活真的会因为AI而显著不同吗？人们应该说：“那些家伙只是对这件事过度兴奋了。”但我在这里要说，以我拥有的无论何种可信度，这绝对是史上最深刻的技术——无论从好的方面还是坏的方面。我并非出于经济动机。我是在说，一些预防措施和保障绝对必要。

你如何看待美国与中国对话基调的差异？在中国，常被报道对AI的乐观情绪要高得多。你认为为什么会有这种差异？

这些人中的大多数并不会在中国待那么久。对中国就业市场的担忧非常、非常高，而且你不能把中国当成一个铁板一块的整体。那里有像美国一样从事AI工作的私营公司，然后还有中国政府。

例如，在是否应允许加密货币的问题上，他们说不行。年轻人应该一直赌博吗？他们说不行。在孩子们是否应该与AI建立关系的问题上，他们说不行。在很多这类事情上，包括AI的使用，他们都表现出愿意代表社会采取行动。

那里的狂热程度稍微低一点，因为他们的经济目前不像我们的那样以AI为中心。归根结底，在不想看到网络攻击或生物恐怖主义、或试图弄清楚当工作岗位消失时我们该怎么办的人类价值上，我不认为中国人、美国人以及所有其他人类在如何看待这件事上有什么不同。

你认为是否真的需要发生一些糟糕的事情，才能让美国获得做出这些改变的政治资本？

很可能是的。我们为地震做准备，是因为有小地震发生。我原以为在经历了新冠疫情之后，这会让我们对未来大流行病更有准备。那件事并没有像我预期的那样奏效。

但通常那会激发我们的注意力。在未来几年里，尤其是在网络领域，因为那里有商业模式，你将会看到许多攻击，其规模与我们过去见过的任何攻击都不同。

有一件事，我要再次回到这一点，我想在这里结束。我担心年轻人和虚无主义。我一直在我们的受众中感受到这一点。我们有一个年轻的受众群体。

关于AI，有些东西确实是我见过计算机做过的最酷的事情。那里有一些东西可以是有趣、好玩、令人着迷的，并且会改变你与生活在数字世界这一概念本身的整个关系。

然后显然还有可怕的事情。我经常看到的是不信任感，不仅是对机构的不信任，还有对公司、对资本主义本身、对我们应该改变劳动和资本征税方式这一想法的不信任——我知道这是你的另一个想法。还有那种，我不知道，我们甚至应该多生孩子的想法。一切都完了。他们会把我们全杀了，我们应该先缓一缓。

外面有很多虚无主义。我非常强烈地感受到它。如果你今天是一个年轻人，听到比尔·盖茨说大约会有20年的颠覆期，而在这结束时，机器人可能会建造房屋，你会把什么当作希望的来源？

纵观人类历史，我们一直在应对食物短缺、疾病和战争。[历史学家]尤瓦尔·诺亚·哈拉里对过去写得很有说服力。具有讽刺意味的是，现在我们有了这个潘多拉魔盒，它将解决食物短缺——这仍然是真实存在的问题，不是在美国，而是在非洲——将解决疾病问题，那里的人类苦难令人难以置信，并解决所有这些问题，但它同时会对就业和我们独特贡献的感觉产生如此大的影响。

我想，“我调动资源来根除疟疾的方式，加上我的人生经历，让我在这方面相当独特。”但当AI对我说，“不，我比你强。你去打匹克球吧，我回头再找你。这事我来处理”，这很幽默，但也不幽默。对于今天想要做出独特贡献的年轻人来说，AI如此强大，这非常令人畏惧。

这就是为什么数学界的危机将在各处重演。如果你今天二十多岁，在这个20年的时期里，你可以去做AI仍然做不到的事情，你可以利用AI，你可以产生很多好的影响，你也可以提出政策建议。我们可能需要培养一种品味，真正不去把技术用到极致。

当我与Claude讨论人类保留的就业类别，并试图将其提高到比如劳动力市场的40%——这样你就可以用提前退休、限制工作周之类的方式，仍然得到类似我们今天所拥有的东西——它的回应总是，“你是在人为限制AI做这些事情。”如果不这样做，我就无法达到一个很高的百分比。

我们将会有真正的选择。我们曾有过一些群体——不是大群体，而是像阿米什人那样——他们不生活在技术前沿。很多人可能会选择不生活在技术前沿，因为我们可以从互相帮助或提出独特想法中获得一些东西。

关于年轻人之所以担忧，是因为即将到来的颠覆——即便在我们管理AI的最理想情况下，这也将是人类历史上最动荡的时期之一——我很不愿意成为传递令人担忧消息的人，但如果不告诉人们这件事即将到来，情况会更糟。作为人类，我们可以选择如何塑造它。

比尔，感谢你发出警报，也感谢你来到Decoder。非常感谢。

谢谢。

有问题或评论？请发邮件到decoder@theverge.com联系我们。我们真的会读每一封邮件！