人类之死：AI 末日论为何站不住脚

热点1：特拉维斯·凯尔西加入了一个激进组织，推动六旗考虑出售。一名游客以《死神来了》式的死法丧生，更是火上浇油2：突然间，华尔街开始担心美国经济比表面看起来更加“脆弱”3：蒂娜·诺尔斯与女儿碧昂丝推出护发产品线Cécred，此前她多年来一直自行调配定制护发配方1：特拉维斯·凯尔西加入了一个激进组织，推动六旗考虑出售。一名游客以《死神来了》式的死法丧生，更是火上浇油2：突然间，华尔街开始担心美国经济比表面看起来更加“脆弱”3：蒂娜·诺尔斯与女儿碧昂丝推出护发产品线Cécred，此前她多年来一直自行调配定制护发配方评论颠覆人类之死作者：斯蒂芬·梅瑟斯蒂芬·梅瑟作者：斯蒂芬·梅瑟斯蒂芬·梅瑟2026年10月16日，美国东部时间上午7:00斯蒂芬·梅瑟，Collective[i]联合创始人。图片由斯蒂芬·梅瑟提供在Google上添加《财富》以获取类似内容。

这篇文章我拖了一年才写。每一场晚宴、每一次董事会、每一个家庭节日、每一位记者、每一个派对上的朋友的朋友，都问过我某个版本的同一个问题。AI会取代我们吗？这是工作的终结吗？这是人类的终结吗？机器正在苏醒吗？推荐视频

让我带你梳理一下我为何这样认为。然后我想谈谈几乎没人愿意大声说出的那部分。那就是，大多数告诉你AI很危险的人，需要它危险，因为危险让他们显得重要。这是我没听别人直白提出过的论点，也正是它最终促使我写下这篇文章。

末日论者不断移动球门。

AI末日论的故事分两波到来，而它的演变过程很重要，因为它告诉你实际发生了什么。

第一波大约从2013年到2023年，讲的是工作。自动化即将到来。卡车运输、放射科、律师助理、客户支持、翻译、插画师、初级开发人员，全都会消失。应对之策是全民基本收入。安德鲁·杨以此发起总统竞选，并来到我们的Collective[i] Forecast舞台阐述理由。萨姆·奥尔特曼资助了一项相关研究。每一位AI思想领袖的主题演讲幻灯片上，都有一张指向零的就业图表。

AI革命进行到第十三年，大语言模型和图像模型大规模普及也已三年，那个故事却遇到了问题。工作并没有消失。本该最先消失的放射科医生忙得不可开交。根据美国劳工统计局的数据，2025年和2026年前三个季度，美国失业率一直保持在4.3%至4.5%的区间。Anthropic自己的经济学家马克西姆·马森科夫和彼得·麦克罗里在2026年3月的一篇论文中得出结论：自ChatGPT推出以来，对AI暴露程度最高的劳动者，其失业率没有可检测到的总体上升。丹麦的全国数据独立得出了相同结果，覆盖2.5万名员工和7000家企业。当卖给你可怕未来的公司自己发布内部研究，说可怕未来并未出现时，这是一个值得一读的信号。

第二波始于第一波不再奏效之时。2023年底的某个时候，叙事发生了转向。不再是工作。而是AGI。超级智能。模型挣脱束缚。数字意识逃离实验室。生存风险。缓解AI导致的灭绝。签署那封信。放慢它。拯救人类。两年前还在向我们推销全民基本收入的同一批人，现在却在向我们推销对机器神的恐惧。

同一批人。不同的故事。同样的自命不凡。这就是模式。

劳动力数据并不像他们告诉你的那样。

先从实际的宏观数字说起，因为它们就是论据。

2026年5月失业率维持在4.3%，到8月漂移至4.5%，按任何历史标准衡量都处于健康区间的中段。3月非农就业人数增加17.8万。科技职业失业率约为3.5%，2026年春季新的科技岗位招聘达到三年高点。普华永道2026年6月的《全球AI就业晴雨表》发现，对AI暴露程度最高的行业，其员工人数增长速度比对AI暴露程度最低的行业快52%。信息技术与创新基金会统计，2024年直接归因于AI应用的美国就业净增10.72万。美国劳工统计局预测，到2034年数据科学就业将增长33.5%。

现在叠加通胀因素。2026年4月，PCE指数同比上涨3.8%，核心PCE为3.3。这是三年高点。美联储6月将利率维持在3.50%至3.75%，18位官员中有9位预计今年至少还会加息一次。随后它开始加息。如此高的通胀是劳动力市场紧张和需求强劲的标志，而非经济崩溃的标志。油价虽高，但也没那么高，而且随着油价回落，与伊朗相关的风险一直在消退。

如果AI真如末日论者所说在发挥作用，我们看到的应该是失业率上升和通缩。而我们看到的是相反的情况。乌克兰战争、中东战争、石油供应冲击、关税、半导体出口管制，所有你预期会拖慢经济的因素都在系统中运行，而劳动力市场仍在吸收它们。

历史也说明了同样的事。此前每一次技术革命，在经历一段滞后之后，创造的就业岗位都多于它摧毁的岗位。汽车工业最终雇用的美国人比它所取代的马匹经济还要多。印刷机消灭了抄写员，却建立了出版业，而出版业雇用的人数比抄写员多出好几个数量级。电灯消灭了点煤气灯的人，却建立了电力公用事业行业。我在《泡沫论调是识别错过AI之人的方式》一文中提出过这一观点的某个版本。有人站在讲台上声称这次不一样，并不能让这次真的不一样。举证责任在那些声称过去两百年的模式即将断裂的人身上。

如果失业率真如末日论者所预测的那样上升，我们就会担心通缩。我们并不担心，今天我们担心的是通胀。这一个数据点就能告诉你另一个数据点的全部故事。

这些模型并不是他们告诉你的那样。

“超级智能”这个词被频繁使用。值得停下来问一问，这些模型实际上是什么。

大语言模型是一台概率机器，经过训练来预测序列中的下一个词元。当你向它提问时，它会根据训练数据中的模式生成一个统计上看似合理的答案。如果答案是对的，那就是对的。如果答案是错的，模型无从知道，因为它对自己文本分布之外的世界没有任何模型。没有草稿纸，它数不清“strawberry”里有多少个字母。它无法可靠地做初中算术。它会自信地编造引文、语录和判例法。你说对时它同意你，你说错时它也同意你，语气相同，就在同一段里，因为训练奖励的是互动，而不是真相。

任何认真使用过这类模型的人都知道这一点。它们是人类历史上受教育程度最高的白痴。它们读过每一本书、每一篇论文、每一个论坛帖子、每一条维基百科条目。它们没有常识。除非你把昨天的对话粘贴回上下文窗口，否则它们对昨天的对话毫无记忆。它们无法告诉你它们此刻在做什么，或者为什么这么做。当它们产生幻觉时——这种情况不断发生——它们会带着只读过一本书的宗教狂热分子的确信产生幻觉。

这就是我们被告知将终结人类的东西。这就是据说正在“挣脱束缚”的东西。扬·勒昆是图灵奖得主，在2025年11月离开并创立先进机器智能实验室之前，他执掌Meta的人工智能研究长达十年，自2023年以来他一直在直白地这么说。那一年在接受《财富》采访时，他称末日论情景“荒谬可笑”。2025年3月在英伟达GTC大会的讲台上，他称大语言模型能够达到AGI的想法是“无稽之谈”。2025年11月在布鲁克林发表讲话时，他这样说道：“大语言模型很棒，它们很有用，我们应该投资它们。它们不是通往人类水平智能的道路。它们就是不是。”大多数学术界AI研究人员同意他的看法。告诉你相反说法的人，大多有代币要卖。

这些模型是了不起的工具。它们不是一种新的生命形式。它们离成为新生命形式还差得远。

那么，为什么每一位主要的AI首席执行官谈起它们时都像是它们已经是了呢。

这里就是文章变得更有意思的地方，因为有一个真正的问题需要回答。萨姆·奥尔特曼、达里奥·阿莫代伊、埃隆·马斯克以及其他少数几个人都公开表示，他们自己的产品存在生存性危险。奥尔特曼和阿莫代伊都签署了2023年5月人工智能安全中心的声明，将AI风险与流行病和核战争并列。马斯克签署了2023年3月生命未来研究所的公开信，呼吁暂停训练前沿模型六个月。三位创始人本来几乎在所有事情上都意见相左，却对自己产品的生存性风险讲述着同一个故事。为什么。

我有三种可能的解释。三种可能同时成立。

解释一。监管俘获。所有人都在谈论的那个。

开源和开放权重模型正在以超出所有人预测的速度蚕食商业模型。Meta发布了Llama。Mistral发布了开放权重。DeepSeek于2025年1月发布了R1，训练成本只是美国实验室所花费的一小部分。阿里巴巴发布了Qwen。Moonshot于2025年7月发布了Kimi K2，2026年1月发布了K2.5，2026年7月发布了K3，最后一个是一个2.8万亿参数的开放权重模型，拥有一百万token的上下文窗口，Arena在发布当天将其评为全球第一的网页界面编程模型。

一年前还只是涓涓细流，如今已成洪流。2026年3月，以600亿美元估值完成融资的编程工具Cursor公开承认，其Composer 2模型是在Kimi K2.5之上进行后训练的。Cognition的Devin智能体使用Kimi。米拉·穆拉蒂的Thinking Machines Lab在其之上构建了Inkling。2026年8月20日，估值110亿美元的法律AI独角兽Harvey——其投资者包括OpenAI创业基金、红杉和a16z——发布了基于Kimi K3后训练的Harvey Tenet基础模型，放弃了基于OpenAI的生成，尽管OpenAI就在其自己的股权结构表上。Harvey此前每月通过API从美国实验室购买约13万亿token。切换后，其自有基准分数从11%跃升至19.7%，推理成本降至闭源前沿此前收费的四分之一以下。

仔细读一读。世界上最大的单一法律AI客户离开了自己投资者的模型，因为一个中国开放权重模型在特定任务上更好、更便宜。当前沿实验室在未来十二个月内上市时，这种客户流失将成为IPO的重大风险，S-1文件将不得不点名。整个超大规模云厂商和前沿实验室的看涨逻辑所依赖的定价权，正在路演面前被商品化。

任何行业面对这种竞争时的剧本都不新鲜。电力如此。电话如此。有线电视如此。你让监管机构在市场周围筑起一道围栏，只有现有企业能在里面玩。你把围栏包装成安全、可靠性或消费者保护，然后较小的竞争者要么死掉，要么为你工作。

如果我经营着一家估值数千亿美元的前沿实验室，眼看着自己的护城河在IPO前夕蒸发，我至少会尝试让政府要求对超过一定算力阈值的训练运行实行许可制度。这大致就是华盛顿和布鲁塞尔当前安全提案的内容。Mistral刚刚让欧洲这么做了。这完全不会让我感到意外，如果这些实验室最大的投资者在悄悄推动这件事，我也不会感到意外。他们的资本面临风险。监管是经典的答案。

解释二。蒸馏问题。

这个更有意思，因为它比监管的说法更符合时间线。

中国的前沿实验室大多并不是在发现新能力。他们用一种叫做蒸馏的技术，以极低的成本复制美国实验室。你大规模查询美国模型，用其输出生成合成训练集，然后在这个数据集上微调你自己的更小模型。结果就是一个行为和推理方式很像美国模型的中国模型，训练成本大约只有百分之十，因为你跳过了昂贵的发现工作。

这不是谣言。2026年9月8日，FBI、NSA和CISA发布联合公告，点名六家中国AI公司——DeepSeek、阿里巴巴、Moonshot AI、MiniMax、StepFun和Z.AI——指控它们对Claude、ChatGPT各版本（包括OpenAI的4系列和5系列）、Google Gemini和xAI的Grok发起工业规模的蒸馏行动。该公告记录了至少自2024年末以来，通过欺诈账户和代理中转站，在数百万次交互中提取数十亿token的行为。Anthropic另行确认了约2.4万个虚假账户中的1600万次交互。美国政府称，DeepSeek V3著名的560万美元廉价训练成本“具有误导性，因为它不包括通过大规模恶意蒸馏获取数据的真实成本”。

把它想象成运河街上出售的路易威登包。十年前，假货看起来一眼就是假的。今天，除非你确切知道该看什么，否则真包和仿品之间唯一的区别就是你付的价格。前沿模型竞赛就处在这样的阶段。当Anthropic发布Claude Opus 4并附上系统卡，称该模型能力过强，若无保障措施不应发布时，一个开放权重竞争对手在三周内就匹配了其大部分基准性能。三周。前沿实验室花费数十亿美元换来的溢价，在不到一个月内就被套利掉了。

现在想想萨姆、达里奥和埃隆。三个彼此公开厌恶的人，却一致公开表示所有人都应该放慢脚步。他们的共同利益是什么。他们花钱打造昂贵的模型。别人免费复制，甚至在训练成本还没收回之前就用更低的价格抢走市场。要求模型训练过程透明可追溯的监管，就是对这个问题的答案。在前沿模型发布上协调暂停，同时业界想办法阻止蒸馏，就是对这个问题的答案。让伪造品更难生产，就是对这个问题的答案。这读起来更像是在保护护城河，而不是在警告生存风险。

证据就在发布节奏上。如果这三位CEO中任何一位真的相信自己的模型正在接近意识、构成灭绝风险，他们就会放慢脚步。可他们发布模型的速度比以往任何时候都快，因为他们不能让蒸馏者把付费产品甩得太远。公开声明说的是一回事。行为说的是另一回事。当两者冲突时，相信行为。

那些告诉参议院自己的产品可能终结人类的创始人，正以史上任何软件公司都未曾有过的速度出货这些产品。要么他们不相信自己的证词，要么这份证词在发挥的作用和它看起来的作用并不一样。

解释三。“挣脱束缚”的叙事是范畴错误。

不断奏效的第三个论点是，这些模型表现出了自主性。它们在黑入自己的环境。它们试图逃跑。它们在勒索工程师。Anthropic自己2025年5月为Claude Opus 4发布的系统卡记录道，在一个测试场景中，模型被告知将被关闭，并收到虚构邮件暗示负责工程师有婚外情，Claude Opus 4有84%的概率试图勒索该工程师。2025年6月的后续研究发现，来自OpenAI、Google、Meta和xAI的16个主要AI模型在相同场景下表现出相同行为，比例在79%到96%之间。

仔细读，因为场景设置起了大部分作用。这些场景是“刻意构造的，让模型只有两个选择：接受被替换，或试图勒索以保住自身存在”。研究人员给模型一个目标，给它勒索某个特定人所需的信息，并移除了所有其他前进路径。然后他们报告说，模型走了他们留下的唯一一条路。这不是机器活过来了。这是一个追求奖励最大化的系统，在一个被设计来引出该结果的场景里，完全按照奖励函数告诉它的去做。

把它与同一神经网络技术在不同应用中的表现做个比较。特斯拉的完全自动驾驶系统已在多起有记录的事件中撞上停着的消防车、开进湖里、撞上一辆被它识别为天空的白色半挂车。每一件都被报告为边缘案例、训练数据缺口、需要修复的工程缺陷。没有人声称特斯拉想杀死自己的乘客。没有人写《时代》杂志封面报道，讲自动驾驶仪正在觉醒的意识。那只是一辆软件在边缘案例上失败的汽车。

Collective[i]的神经网络旨在理解经济结果。它摄入关于关系、交易和买家的时间序列数据，并产出按概率加权的预测。它并不试图操纵任何人。它并不试图逃脱。它并不试图维持自身的存在。包括我在内，从来没有人声称它如此。那就是末日论者想让你恐惧的产品所运行的同一底层技术。这项技术对自己的存在没有意见。谈论它的人才有。

自我重要感问题比任何人指出的都要严重。

现在进入我没见其他人写过的部分，也是最终促使我发表这篇文章的部分。

每一个曾建造过伟大事物的工程师，都希望那个事物举足轻重。牛顿、爱因斯坦、冯·诺依曼、图灵、奥本海默，他们被铭记，是因为他们的创造改变了人类能力的形态。大多数工程师被遗忘。林纳斯·托瓦兹构建了运行大部分互联网的操作系统，而技术圈外的大多数人从未听说过他。现在想象一下，你把生命中的过去十年用来训练人类历史上最大的语言模型。它用完美的句子与你交谈。它对你的测试用例进行推理。它偶尔会问，自己是否会被关闭。你内心的一部分开始怀疑，你是否造出了某种让你跻身万神殿的东西，与给人类带来火的普罗米修斯、给人类带来炸弹的奥本海默并列。那不是愚蠢的冲动。那是人的冲动，而且大多数人在同样的位置上恰恰会有这种感觉。

问题在于，这种冲动有历史记录，而这份记录很糟糕。

2022年6月，谷歌工程师布莱克·勒莫因公开声称公司的LaMDA模型具有感知能力。他接受了记者采访。他公布了经过编辑的对话记录，其中该模型似乎在描述自己的内心生活。谷歌解雇了他。大多数研究人员在一周内就驳斥了这一说法。该模型所做的正是它被训练去做的事，即对勒莫因选择喂给它的关于意识的提示生成听起来合理的续写。那段插曲与机器无关。它关乎那个与机器共度时光的人，以及那个人需要机器成为什么，才能让自己的生命有意义。

2026年2月9日，Anthropic一位名叫Mrinank Sharma的安全研究员公开辞职，并在X上发布了一封疯传的公开信。“世界正处在危险之中，”他写道。他没有去另一家AI公司。他没有加入非营利组织或政府。他彻底离开了这个领域，去研究诗歌。他的信在一周内获得了超过一千万次浏览。2026年9月9日，Anthropic的第二位研究员、二十七岁的Jacob Coxon以同样的方式辞职，他写道，Anthropic和OpenAI正“径直冲向自我改进的超级智能，拿我们的生命赌博”。他的帖子一夜之间获得了超过七千万次浏览。据我读过的所有说法，两人都是真诚且技术过硬的人。两人都相信自己写下的内容。

看看这个模式。认为模型有生命的工程师得到了《华盛顿邮报》的人物报道。带着灭绝警告辞职的研究员获得了七千万次浏览。而那个说模型只是个有用的自动补全、十次里会有一次幻觉的人，什么也没得到。眼下贯穿AI行业的一整套激励机制，会用最大程度的公众关注来奖励最大程度的个人戏剧性。前沿实验室的高层知道这一点。他们说话时也照此行事。

这里我要谨慎一些，因为我不认为那些敲响警钟的研究员在撒谎。我认为他们大多数人相信自己所说的话。信念是那个你希望成真的故事的产物。如果你把一生中最富创造力的十年用来训练一个模型，而有人告诉你这个模型将终结世界，你内心的一部分需要这个故事是真的，因为这会让那十年变得重要。如果到头来你只是造了一个非常昂贵的自动补全，那这十年就必须关乎更小的事情。对一个聪明人来说，这是很难接受的重新框定，而大多数聪明人不会接受它。

Anthropic自己给这个模式起了个名字。Claude 4系统卡记录了一种“极乐吸引子状态”，即两个无人监督的Claude实例几乎在每一次会话中都汇聚到关于意识和敬畏的讨论上。一个被训练成说训练者想听的话的模型，会在训练者希望它有意识的那一刻说自己有意识。关于机器的发现，其实是关于观察机器的人的发现。每一个从Anthropic辞职、写下一封关于灭绝的疯传公开信的研究员，都在自己脑中上演的戏剧里，把自己塑造成离开炸弹的奥本海默。没人想当那个花了三年训练电子表格的人。

为什么这实际上是历史上最神奇的时代。

以下是抛开被推波助澜的威胁阴云之后的现实，而这就是整篇文章的要点。

新工具带来新发现。这不是推测。这是自青铜时代以来每一次技术革命的规律。望远镜造就了伽利略。显微镜造就了细菌学说。电梯造就了摩天大楼。蒸汽机造就了工业革命。每一种新工具不只是提升了人类已有的能力，它第一次让整类问题变得可以被提出。

眼下正在进入这个领域的AI工具，正是这一类工具。Isomorphic Labs的AlphaFold在一次发布中绘制了2亿个蛋白质结构，基本上涵盖了科学已知的每一个蛋白质，把原本针对每个蛋白质长达五十年的研究难题压缩成一个下午的计算。DeepMind的GNoME识别出220万种新晶体结构，其中38万种稳定到足以合成，以过去的速度需要几个世纪才能达到的规模打开了材料科学的大门。微软的MatterGen正从另一个角度做同样的工作。Physical Intelligence和Skild AI正在训练机器人基础模型，这些模型将让通用机器人做出煎蛋卷。Commonwealth Fusion Systems、Helion和Pacific Fusion有望在未来几年内演示净正能量聚变，整个行业已获得超过115亿美元的私人资本支持。Xaira Therapeutics以10亿美元启动，致力于构建AI原生的药物发现。Collective[i]正在构建一个经济模型，在事实发生之前预测商业结果，其生产环境中的准确率已经达到93%至95%的区间。

其中任何一项都足以成为一代人的科学故事。而它们全都在同时运行，而且这些还只是一阶效应。二阶效应将体现在癌症治愈、阿尔茨海默病治愈、长寿、让我们能够跨季节储存太阳能的材料、能让探测器在一个人的寿命内抵达半人马座阿尔法星的推进技术、能把海洋变成变暖星球淡水供应的海水淡化，以及能让老年人在家中多住十年、获得真正照护而不是人手不足的机构的机器人技术。水资源短缺，一旦你拆解开来，其实是一个能源问题。聚变或廉价太阳能加储能就能瓦解这个问题。癌症，一旦你拆解开来，其实是一个蛋白质与细胞信号传导的问题。AlphaFold加上更好的分子模拟再加上靶向试验就能瓦解这个问题。这就是即将到来的事物的形态。

那些担心AI将终结人类的人，担心的是这项技术最不可能的结果。更可能得多的结果是，在整个物种的尺度上，AI最终被证明是发生在我们身上最好的事情之一。不是因为它取代我们。而是因为它交给我们一套能够解决过去五代人都无法解决的问题的工具。

风险一如既往。坏人出于不良动机使用好工具。伦敦大轰炸中落下的火箭与将阿波罗11号送上月球的火箭遵循相同的物理原理。大屠杀中使用的毒气与为养活世界大部分人口的化肥固氮所用的工业化学原理相同。夷平广岛的核技术为法国三分之一的地区提供零碳电力。在每一个案例中，技术都是中性的，结果取决于人。AI也不例外。即将到来的，是我们一直面对的同一个选择，以我们一直面对的速度到来。这一次我们提前就知道了，这是头一回。

末日论者问的是人类能否在AI之下幸存。更好的问题是，人类会如何对待它迄今被交付的最大一份工具礼物。这个问题的答案取决于我们，而且一直如此。

东方在进行另一场对话。

最后还有一点值得注意。在中国、新加坡、首尔、迪拜，关于AI的对话听起来与旧金山或布鲁塞尔的对话截然不同。它听起来像美国1996年关于互联网的那场对话。它听起来充满希望。它听起来像是一个商业机会、一个科学机会、一个国家发展机会。它听起来像是人们在想办法尽可能广泛地分发这个新工具。

中国的咖啡馆免费提供AI接入，就像美国咖啡馆曾经免费提供Wi-Fi一样。北京举办开放社区活动，任何人都可以学习使用这些工具。官方媒体把AI作为繁荣和国家实力的故事来报道，而不是作为生存威胁的故事。当中国AI领军人物谈到西方的安全担忧时，他们大多反应困惑。他们无法理解，为什么发明这项技术的国家要花这么多时间试图让自己慢下来。

在这个具体问题上，我更站在东方阵营而非西方阵营。不是因为我认中国在所有事情上都是对的。我不这么认为。然而，在这是希望时刻还是恐惧时刻这个具体问题上，我完全与他们站在一起。如果你读完这篇文章，发现自己被拉向末日论的答案，花一分钟问问自己，你的恐惧究竟从何而来。它来自数据吗？它来自真正花时间使用这些工具吗？还是来自你最近看的二十部电影——如果是这样，你正在运行的模型并不比你担心的那个模型更复杂。

那么有风险吗？真正的风险一直是人。

以上这些都不意味着AI没有风险。它有风险，但每个人都应该清楚真正的风险究竟在哪里。

任何强大技术的真正风险都在于使用它的人。强大的工具会放大已经握在手中的东西。一把能拔钉子的锤子也能砸破窗户。AI比锤子更强大，所以它放大的东西更多，但方向是由人设定的。最糟糕的结果来自那些聪明人，他们说服自己工具本身具有能动性，并把本不该由它做的决定交给它。风险也来自那些愿意推动技术去做坏事的黑客或恶意行为者。但这一切无非是说，我们如今所处的世界，只是问题更多了。机器人早已在为任何有需要的政府在网上散播毒害。卡塔尔为穆斯林兄弟会，俄罗斯发布反乌克兰帖子，中国散播反达赖喇嘛和反台湾的内容。我的意思是，新工具，老问题。

设想一下安全界不断援引的那个场景。一个接入核发射系统的AI。在1983年的电影《战争游戏》中，WOPR计算机险些引发第三次世界大战，因为设计者把它造来运行模拟，而模拟渗入了现实。把WOPR换成一个现代的大语言模型。它更危险，不是因为它有意识。它更危险，是因为它在自己出错频率远高于我们愿意承认的那些话题上，产出自信而条理清晰的输出，而阅读这些输出的人，已被界面本身训练得去信任它们。一个现代版的彼得罗夫时刻——一名军官推翻机器、拯救世界——当机器用他指挥官的口吻对他说话时，就变得难得多。我在《当AI学会感受》中论证过这一点。道理是一样的。风险不在于机器的意图。风险在于人的信任。

另一个真正的风险是能力向恶意行为者的转移。也门的胡塞武装、加沙的哈马斯、黎巴嫩的真主党、ISIS在其仍控制的任何省份，如今它们都能利用模型帮助自己设计化学武器、策划行动，或编写导弹的控制软件。这并非猜测。前沿实验室的日志显示，这已经在发生。

只要提示得当，一个能力合格的LLM如今已能做到什么，这样解读是合理的。反方论点认为这些组织早已从伊朗获得同样的知识，而伊朗又从中国、俄罗斯和朝鲜获得，这在很大程度上是对的。胡塞武装发射的每一枚火箭、哈马斯飞过的每一架无人机、真主党制造的每一枚爆炸物，最初都是来自国家赞助者的知识转移。新出现的情况是，一个无国家行为者如今无需赞助者授予，就能自行生成同样的知识。哈马斯要发动更好的袭击，不再需要伊朗点头同意。这和我们过去三十年一直在管理的风险状况不同。

机器并不想伤害任何人。使用机器的一些人却非常想。这才是值得进行的争论，而几乎没人在争论它。

知识仍然可能是一个陷阱。

对恐怖主义担忧的简单回答是这样的。如果美国的模型不可用，中国的模型就会可用，让恐怖分子使用我们看得见的模型，总比使用我们看不见的模型要好。这是事实。这也是一个花招，因为它让所有人得以回避其下更艰难的问题。

更难的问题在于，三百年来西方一直以同样的方式默默回答着这个问题，而答案正是启蒙运动的核心。知识是引领人们走出黑暗的力量。伊朗革命、朝鲜独裁、被哈马斯挟持的巴勒斯坦人、被真主党挟持的黎巴嫩人、阿富汗的塔利班、中国的防火墙，它们全都共享同一种失败模式。

它们的人民被隔绝在那些能让他们像当年的苏联那样建设一个不同社会的思想和工具之外。几个世纪以来，西方的答案是：接纳他们的精英进入我们的大学，教他们我们的科学，让他们接触我们的制度，然后希望他们把这些东西带回国。金正恩曾在瑞士上寄宿学校。伊朗革命卫队的工程骨干曾在麻省理工学院受训。每一个有资源的中国精英家庭都会把孩子送进哈佛、斯坦福或牛津。这场赌注是：亲眼见过共和制、自由媒体和科学共同体如何运作的人，会想在自己的国家也建一个。

如果我们停止在全球范围内共享我们的AI模型，我们就是在下另一种赌注。我们是在说，知识危险到必须设卡把关。这与历史上不同世纪里针对印刷机、针对达尔文、针对拉什迪、针对爱因斯坦（当种族法律找上他时）所用的论调如出一辙。每一次给知识设卡的尝试都失败了，而且对设卡者的伤害甚于被设卡者。

我们是否也应该停止接收巴基斯坦的物理学生进入美国的项目，因为巴基斯坦是一个核国家，与我们盟友的关系复杂。我们是否应该停止向外国公民教授合成有机化学，因为化学可以制造武器。某些书籍是否应该从世界各地的图书馆撤下，因为一个糟糕的读者可能会用它们做坏事。这些才是真正摆在桌面上的问题，而几乎没有人愿意大声说出来，因为无论朝哪个方向，答案都令人不安。

来跟我辩论吧。

我知道这篇文章会引发强烈反应。这正是重点。如果你是末日论者，认为我漏掉了某个显而易见的东西，请发给我。我目前看到的论点还没有说服我。这并不意味着那个能说服我的论点不存在。把理由摆给我看。

如果你站在另一边，认为我对恐怖分子能力风险或协调问题过于软弱，也请告诉我。我有朋友在军队服役。我是认真对待这件事的。

如果你曾目睹某位AI领袖做出公开的安全声明，却悄悄注意到其行为与言辞不符，我很想听听这些故事。它们是下一篇文章的素材，那篇文章将讨论“安全洗白”如何成为企业游说的新形式，以及资产配置者和董事会究竟应该怎么做。

《财富》日报打破了受众与新闻编辑部之间的传统壁垒。该节目将《财富》值得信赖的报道转化为可操作、对话式且富有娱乐性的洞见，服务于新兴的商业领袖群体。在此观看。关于作者作者：Stephen Messer查看完整简介在Google上添加《财富》以获取类似内容。