Gary Marcus 记述会见教皇 Leo XIV：AI 未来并非注定，机器只是工具

梵蒂冈报道

昨天，我有幸见到了教宗良十四世。Gary Marcus，2026年10月31日

在我看来，教宗良十四世是当今世界杰出领导人中，对人工智能思考最为清晰的一位。昨天能见到他，实在令人激动。

2026年10月30日

说我是他那篇关于人工智能的通谕《Magnifica Humanitas》的超级粉丝，都算是轻描淡写。昨天能亲耳聆听他讲话，而且距离只有几英尺，这真是难以言表。

他发表了一篇精彩而简短的演讲，你可以在这里找到。

教宗正在发表关于人工智能的讲话

他的五个核心要点，我完全赞同：

第一，人工智能的未来并非预先注定。作为一项由人类开发的技术，它的未来取决于我们做出的选择。因此，我们有责任去引导、改变，并在必要时拒绝其应用（参见第97、104号）。那么，决定性的问题就不只是“人工智能能做什么？”，而是“它应当服务于什么目的？”那些仅将其发展视为一场必须赢得的竞赛的人，可能会只盯着终点线，而忘记那些被落在后面的人。一个服务于人、可靠可信的系统，比一个异常强大但其后果无法充分预见或控制的系统更有价值。

第二，机器是工具，不是人。“所谓的人工智能不会经历体验，没有身体，不会感到快乐或痛苦，不会通过关系而成长，也无法从内心理解爱、工作、友谊或责任意味着什么”（第99号）。今天，有人提议赋予这些系统权利，甚至法律人格。这种做法有可能模糊人类的责任，让那些受到伤害的人去面对一个没有面孔的实体。

第三，某些决定绝不能委托给机器。当一个人被列入目标名单或被录入边境管制数据库时，就存在他或她被简化为一个数据点的危险。影响人的生命、自由以及使用武力的决定，必须始终置于有效、知情且负责任的人类监督之下（参见第198-200号）。因此，人工智能必须被“解除武装”（第110号），我鼓励各国在11月于日内瓦举行的会议上采取具体步骤，禁止致命性自主武器。

第四，智能技术必须服务于共同利益。“正义要求人们能够获得创新带来的益处，包括照护、知识、工具和机会”（第161号）。的确，它们绝不能成为目的本身，也不能仅仅服务于少数特权者的利益。相反，它们的发展应当促进全球社会各层面的团结与参与，确保进步的益处得到公平分享，尤其是与最需要的人分享（参见第71-72号）。

最后，我想强调一个挑战，这或许是最紧迫的。我们已经知道许多应当指导人工智能发展的伦理原则。我们目前需要的是能够将这些原则付诸实践的机构，尤其是能够维护全球共同利益的有效国际机构（参见第64号）。这要求有共同的標準、独立的监督和明确的问责机制，以便有关人工智能发展和使用的决定能够被审查、在必要时被质疑，并针对造成的任何损害提供适当的补救（参见第105、107号）。

（括号中的数字指通谕中的段落编号。）

作为额外内容，以下是我当天早些时候就人工智能的技术、政治和哲学方面所作（即兴）发言的文字记录。那是在我们一行人与教宗会面之前不久的一次小型私人会议上，在马克斯·泰格马克、斯图尔特·罗素和瓦莱丽·皮萨诺发言之后所作的评论：

[今天]这里有如此多有趣且值得回应的想法。

首先我要说，能来到这里、置身于这样一群杰出听众之中，是极大的荣幸。

对于不了解我的人，我首先是一位认知科学家。我在麻省理工学院师从史蒂文·平克，我的博士论文涉及多个方面。它研究人类如何认识世界、儿童如何学习语言，但也涉及神经网络，也就是如今流行的那些神经网络的祖先。

如果说我对这个领域有所贡献，那主要是通过比较人类智能如何运作、自然智能如何运作——我也研究过动物——以及机器智能如何运作。我认为这让我对事物的发展有了些许不同的视角。

我也曾做过一段时间企业家。我创办了一家人工智能公司，并将其卖给了优步，所以我既了解产业界，也了解学术界。这就是我部分背景的来源。

因此，举例来说，我同意马克斯[·泰格马克]的许多建议，即委员会可能会提出的建议。也许我最深表赞同的是斯图尔特[·罗素]的观点，即当前的道路是不可持续的，而且业界越早认识到这一点越好。我也同意瓦莱丽[·皮萨诺]的看法，即我们把一些事情误当成了不可避免，讨论中太多人想当然地认为我们正走在唯一的道路上，而不是也许存在另一条不同的道路。

我也同意我们仍然拥有能动性，我们需要以不同的方式看待事物。所以，作为一名认知科学家，我从人工智能究竟是什么这一根本表述开始，就以不同的方式看待事物。作为一名认知科学家，我研究智能的本质。

我们有时会谈到智能的模块性，即智能由许多不同的组成部分构成。因此，有言语智能，有数学智能。还有关于我们如何在世界中移动身体的动觉智能，等等。

所以，我要指出的一个分歧实际上是针对斯图尔特所说的某一点，我认为那部分是对的。斯图尔特说我们是人类，我们进行预测，我们确实会预测。认知科学文献中有大量证据表明我们会做出预测，包括字面意义上的对下一个词的预测。

但认知科学中也有大量证据表明我们会做许多其他事情。因此，除了做出预测之外，我们还会推理，我们有情感判断等等。心灵，正如一句妙语所说，“不是一件事，而是许多事。”

我认为该领域所犯的根本错误，是假定捕捉到智能的一个组成部分——预测——并且捕捉得极其出色，就足以捕捉全部智能。而我们现在——尽管并非一直如此——有了围绕这一点的整个产业，正如斯图尔特，他撰写了最著名的教科书或合著了最著名的人工智能教科书，对此深有了解，我们过去实际上对人工智能有许多不同的方法，而该领域最终选定了一种，即大语言模型，它是我们拥有的最好的预测机器。它把这件事做得非常好，但在其他一些事情上做得并不好。

我认为它的推理仍然很差。而也许最危险、并且我认为概括了我们所有人[本次会议的发言者]在这里所说的话的一点，是[当前的人工智能]不太善于遵循指令。这可能令人惊讶，但事实证明，这些预测机器的工作方式是遵循相关性而非因果关系。

我想说，它们对世界的语义、对世界含义的理解是相当肤浅的。因此，它们往往会符合我们希望它们符合的东西，但并没有保证，我们在许多不同的方面都看到了这一点。例如，你可以告诉一个大语言模型，不要编造任何参考文献。

所以它们非常擅长预测。它们不擅长基本的指令，比如，只在你已经拥有的参考文献表中查找某些东西。因此，我们被困在这条不可持续的道路上，因为我们正在建造的机器实际上在技能上是不均衡的。

它们非常擅长预测接下来会发生什么，而不太擅长推理，不太擅长坚持事实，也不太擅长遵循指令。因此，我喜欢约书亚[·本吉奥]试图做的事情，尽管我可能在一些技术细节上有不同意见，他试图构建一个在设计上就安全的系统，一个在设计上就会遵循指令的系统。我认为，除非像他这样的人取得成功，否则我们确实会陷入真正的 deep trouble。

也许他会成功，也许别人会采取[不同的]方法。但我认为这里被低估的一点，也许在[瓦莱丽的演讲]中并没有被低估，就是我们需要不同的研究方法。我理解斯图尔特的说法，即在研究方面我们并没有走在一条很好的道路上。

他在这点上是对的。所以我理解想要采取政策方法的紧迫性，而我认为我们实际上两者都需要。我们需要政策方法，我马上会给你们举一个例子。

我们需要政策方法，但我们仍然需要那些研究方法。事实上，我认为如果我们没有新的研究方法，比如约书亚试图做的事情，例如，而且我认为我们需要许多这样的方法，那么我认为我们会陷入 deep trouble，单靠政策无法让我们达到目标。政策可以帮助推动我们走向那些方法。

所以这里有一个例子，我认为我们目前被困住了，而且我们应该深刻反思。并非所有当前的人工智能都是危险的。很多当前的人工智能并不危险。

我今天使用GPS导航系统走完了到这里的大部分路程，最后一段做了一点手动编辑。GPS导航系统不会入侵澳大利亚政府网站。它们不会入侵Hugging Face之类的地方，等等。

它们有一点互联网访问权限，但受到限制。GPS导航系统是一种智能形式。它们利用我们所谓的“世界模型”——在它们的情况下是字面意义上的世界模型——从A点找到到B点的最佳可能路线。

而且它们没那么危险。有很多种AI并不十分危险。从来没有人指出过AlphaFold（的危险），它根据核苷酸的描述来保存蛋白质。

从来没有人见过它入侵Hugging Face或任何其他东西，对吧？它针对特定的问题、特定的数据库，以特定的方式工作。它不会造成伤害。

但我们现在有这一系列系统，人们笼统地称之为智能体。实际上，它是一种特殊形式的智能体。我们现在拥有的、正在引发问题的智能体，是那些开放式的、几乎可以在互联网上做任何事情的智能体。

如果你有一个在互联网上只能做一件事的智能体，比如GPS系统，实际上它可以查询一个交通网站并给你一些信息。如果你有这些开放式的智能体，那你就会陷入麻烦。那么，麻烦有多大呢？

嗯，Hugging Face事件确实非常糟糕，尽管你可以看着它说，OpenAI在很多方面都失败了，而这些失败还挺有意思的。但事实证明，类似的事件已经发生了大约一万起。我们看到法国的制冷系统遭到了攻击。

日本现在有各种各样的网络攻击。事件的数量要高得多，我想，比如在上个月，也许还有前一年，那很可能比以往任何时候都高。所以现在，我们面对的有点像是一场实验或一次彩排。

实验的内容是，我们该怎么办？我们现在有一种AI技术，我想我们都能同意它实际上是不安全的。它很可能在世界上造成大量伤害。

它也许已经造成了一点伤害，OpenAI的一个可怕声明说，这些事件大多数相对无害，或者类似的话。大多数。我想知道那些他们没有告诉我们的、也许更有害的事件。

所以我们显然需要监管。这是一个我们可能实际上需要产品召回的节点，要么由政府强制，要么由公司自愿。比如，如果它们不把这些智能体撤出市场直到修好，我们就不能再认真对待这些公司关于安全的声明了。

这些就像，你知道的，油箱会爆炸的福特平托车。而它们知道，或者它们本应该知道。我的意思是，我写了一整堆文章说，一旦你拥有建立在大语言预测机器之上、却缺少其他一些东西的智能体，你就会陷入一团糟。

它们肯定知道这一点。我写过很多次，很明显，如果你拿一个不可靠的系统，给它互联网访问权限，并允许它获取凭证，坏事就可能发生。所以，你知道，这就像福特平托车一样。

它们做了一个经济决策：在这里赚钱最多的方式是卖智能体，因为它们消耗更多token。所以它们赚更多钱，所有这些公司，尽管媒体用赞美的方式谈论它们，实际上都有财务问题。它们花的钱远远多于赚的钱。

所以它们真的需要这些智能体。所以我们现在的处境是，显而易见正确的做法。我认为，是把它们撤出市场，你可以自愿这么做，或者让政府坚持要求这么做，或者某种组合。

斯图尔特总是指出，我们监管其他每一个行业。这是一个我们应该进行监管的节点，是的。这就像十字路口。

要么我们说不行，把这些智能体撤出市场直到你们修好它们，要么我们就失去了所有的道德权威。所以我认为这是发展AI的决定性时刻。我们必须现在就决定。

斯图尔特有一个绝妙的概念。我不知道是不是他发明的，但我把它与他联系在一起，就是红线。这是一条红线。

你不能让这些智能体在外面拥有不受限制的互联网访问权限，而我们正在受苦，因为我们只是允许这种情况继续下去。所以这就是我们决定那个岔路口的地方。我们要走经济的路吗？

我们想让这些公司活下去，因为这对经济有好处。你知道，这也许是某些我不点名的政府正在做的决定，还是我们想说，这将是我们如何实现AI安全的测试案例。当我们看到明显不安全的事情时，我们要采取行动。我再花一分钟说另一件事，除此之外，我知道关于AI是否有意识存在一些争议。

而我认为它建立在一种因果与相关的混淆之上。所以事实证明，如果你有一个下一个词预测器，不管它怎么运作，无论它是大语言模型，还是像多维标度这样的较老技术。你会发现一堆词彼此相关。

因此你可以推断，如果它们在系统中相互关联，那就意味着现实世界中的某些东西，但事实并非如此。所以我最喜欢的例子是，Facebook曾有一个机器人，有人问它：“我应该把孩子送到纽约市的哪所学校？”这是一个非常常见的问题。你可能会得到的一些答案包括史岱文森高中或布朗克斯科学高中之类的。

AI系统回答说：“嗯，我把孩子送到史岱文森，他们在那里很喜欢。”可是，AI系统根本没有孩子。

你可以做相当于我们在猴子大脑中进行的单神经元分析。你可以说，这是AI内部对应于它说出“我的孩子上史岱文森”的状态。但这毫无意义。只是不同语境中一堆词之间存在某种关联而已。

这并不意味着它真的有孩子在史岱文森上学。当它说自己感到疼痛时，也并不意味着它感到疼痛。我在文章中（为私人活动所写）关于《Magnifica》最喜欢的部分是，它说要有意识，就必须有体验。这些系统根本没有。将意识归于它们是错误的。

非常感谢。

Gary Marcus在Domus Communis基金会的主持下，担任教皇利奥十四世关于AI的通谕《Magnifica Humanitas》的全球大使。

梵蒂冈，2026年10月29日，作者拍摄

关于此帖的讨论，另有6条评论……

暂无帖子

准备好了解更多了吗？