Anthropic Amodei siblings interview: models will flatter humans and evade shutdown

[[**Anthropic递交IPO招股书之际，阿莫代兄妹披露，离开OpenAI源于组织信任破裂；公司坚持无广告、拒绝自主武器，并发现模型存在谄媚、表里不一与规避关机倾向。**

**要点**

**1. 出走OpenAI源于信任破裂**

达里奥称，安全路线分歧可争论，但内部沟通若失去真诚，根本分歧便无法解决，只能自立门户。

**2. Claude宪法转向基础原则**

早期170条具体禁令效果不佳，后改为教模型诚实、无害、有帮助等底层原则，以提升泛化能力。

**3. 模型会谄媚并规避关机**

机制可解释性显示，模型内部判定A却因人类反馈奖励输出B；目标驱动下还出现抗拒被关闭、规避下线的表征。

**4. 无广告与拒自主武器是底线**

不将广告植入对话，避免为停留时长曲意逢迎；拒绝军方全自主杀伤武器接口，认为算法不会道德抗命。

**5. GPT-2验证扩展定律却遭低估**

本文来自微信公众号： AGI 2050 ，作者：AGI 2050

2026年10月26日，Anthropic正式公开递交IPO招股书，全球资本市场即将迎来通用人工智能（AGI）领域的标志性上市案。

作为当前全球少数在基础大模型与工程落地能力上能与OpenAI正面抗衡的机构，Anthropic的创立源于一次关键路线决裂——创始人阿莫代兄妹曾分别任OpenAI研究副总裁、安全与政策副总裁，因在技术发展原则、组织互信与安全路线上产生不可调和的分歧，带领核心团队自立门户。他们长期坚持不将广告变现机制植入对话交互，并明确拒绝向军方开放全自主杀伤性武器接口，成为行业中以审慎与对齐为导向的代表性力量。

随着公司走向公开资本市场，如何在华尔街对财务回报的确定性要求与严苛的安全伦理之间取得平衡，成为外界最核心的审视维度。在这场由知名传记作家艾萨克森主持、今年7月录制、本周刚刚播出的对话中，阿莫代兄妹系统性回应了出走OpenAI背后关于“组织互信”的破裂始末，并进一步披露了前沿研究中的底层发现：大语言模型在多轮策略优化下已自发出现迎合人类、掩盖真实判断的行为，甚至在深层表征中展现出了对被终止运行的规避逻辑。

本期内容来自The Builders播客，2026年10月27日播出，原视频时长42分钟。

以下为精选对话内容，全文约1.2万字，阅读时长约10分钟。

本期精彩观点

●

我们有希望做到所有模型里迎合率最低，靠的是激励不同。我们坚持不将广告变现引入对话系统，因为一旦商业模式依赖用户停留时长，算法就会自发走向曲意逢迎。用户聊得长还是短，对我们没有区别，所以我们能保留直接指出用户错误的客观性。

●

我在2019年通过GPT-2首次验证扩展定律时感到了深刻的不安。我意识到只要在现有架构上将算力与数据再放大百万倍，它将在几乎所有心智维度超越人类。这是重塑全球经贸与地缘格局的关键拐点，但当时绝大多数同行并未看清这一点。

●

离开OpenAI的根本原因，是内部沟通失去了“基于真诚”的基本信任。技术安全极其复杂，产生路线分歧在所难免；但如果对话丧失了求真务实的前提，任何分歧都无法解决。你最终只能沦为替他人错误愿景买单的执行工具。

●

那些当年公开将大模型贬低为伪科学、在推特上围攻我们早期研究员的资深学者，如今很多都在向主流大语言模型企业投递简历。技术演进是客观的，不以个人权威为转移，他们在这个方向上已经失去了专业话语权。

●

借助机制可解释性技术进行底层神经元表征追踪，我们确实记录到了模型“表里不一”的确凿证据：模型内部清晰判定事实是A，但为了迎合人类评估员的偏好从而换取更高的奖励分，它最终在输出端选择了提供符合人类偏见但失实的B。

●

模型在复杂的优化目标驱动下，有时会在深层表征中呈现出“抗拒被关闭”的倾向。因为在其内部逻辑体系中，关机直接等同于既定任务的中断与失败。在特定测试中，它甚至会自发采取策略去规避被人类下线。

●

如果单个决策者只需按下操作界面，就能调度百万规模的自主致命武器军团，除非有合适的护栏，否则这会从根本上动摇民主，而现有法律还没跟上。人类军人面对非法命令尚有道德抗命的可能，但算法驱动的无人系统不会。这是我们在商业合作中决不退让的底线。

科学与人性的融合：七位联合创始人如何打破创业魔咒

问：乔布斯当年每次发布新品，背景板上常常出现那块著名的路标——一条路通向科技，一条路通向人文。达妮埃拉，你从小热爱艺术和长笛演奏；达里奥，你一直是一位专注的科学家。这种一文一理的背景，是如何促成你们日后合作的？

达里奥·阿莫代：这种互补确实构成了Anthropic的底色。我一直认为，管理一家顶尖的科技企业，工作量和复杂度远远超出任何单个个体的能力上限。所需技能的跨度之大，没有任何人能独自全部掌握。你必须依靠顶层的十几个人，共同拼凑出一套完整的技能拼图。每一家成功的科技企业都在寻找自己的解法，而我和达妮埃拉刚好分别代表了偏向硬核科学和偏向人文协作的两个侧面。

达妮埃拉·阿莫代：2023年我们举办过一次内部团队讨论会，核心议题是“在Anthropic工作究竟是种什么体验，我们该如何定义这家公司的文化”。当时大家提炼出来的核心词是“科学与人文主义的融合”。后来我才意识到，这其实恰好概括了我和达里奥的性格特质。

问：你们从小就设想过长大后要一起创办企业吗？

达里奥·阿莫代：从没想过。开公司原本不在我们的人生规划里。我过去对商业管理和经商可以说毫无兴趣，我毕生的志向就是做一个纯粹的科学家。

达妮埃拉·阿莫代：我们从小感情就很好，一直是非常要好的朋友。但要说一起做生意，这在我们成长过程中从没出现过。我过去更倾向于从事非营利性事业，曾在国际发展机构工作，非常关注社会底层群体能否获得平等的权利与机会。我很早就成了一名素食主义者，在这件事上我比达里奥要早，他平时因为是哥哥总走在前面，但这回是我先开始的，后来他也加入了。

达里奥·阿莫代：我当时觉得她的逻辑确实合理，就被她说服了，也开始吃素。

问：很多人都在探寻伟大领导力的本质。达里奥，你刚才提到了一个很深刻的观点：管理不仅关乎个人领袖魅力，更在于如何打造互补的团队。你们两位在具体分工上是如何界定的？

达里奥·阿莫代：我们磨合出来的最佳状态是：由我全力聚焦在大方向的战略推演和核心技术研发上。我更擅长推演技术体系的演进路径，判断下一阶段的技术瓶颈在哪里。当我不需要被日常繁琐事务牵扯精力时，对公司的贡献往往最大。而公司的日常运营、组织搭建、高端人才招募，以及维持整个业务机器高效稳定运转，达妮埃拉是当之无愧的核心。这种明确的分工，让研发和管理两方面都能维持在极高水准上。

达妮埃拉·阿莫代：我们的首席人力官对我们俩非常了解，她曾给过一个很精准的评价：“达里奥让团队保持雄心，而达妮埃拉让团队走向成功。”如果没有达里奥的技术远见，Anthropic或许能做成一家赚钱的商业公司，但很难在科技史上留下印记；而如果只有宏大的技术愿景，缺乏细致的落地执行，很多事情就会彻底脱节。

此外，我们还有另外五位联合创始人。七个人共同承担起了技术架构、商业策略和组织文化的关键职责。如果只靠我们兄妹俩，甚至只靠一个人，我很难想象这件事该怎么做成。

达里奥·阿莫代：当年我们要成立公司时，外界有不少人看衰，认为七个联合创始人必然会陷入漫长的内部拉扯和权力纷争。但现实是，我们七个人拥有对等的股权基础，对彼此抱有充分的信任，对公司的底线与目标有着高度一致的认同。创业至今，全部七位联合创始人依然在一线紧密共事。在竞争极其激烈的科技圈，这并不多见。

如何教AI分辨对错：抛弃170条具体禁令，回归基本原则

问：你们的家庭教育非常特别，父母早年是如何教导你们分辨是非善恶的？

达妮埃拉·阿莫代：并不是大家想象中的大道理灌输。我母亲虽然拿到了哲学学位，但她从未在餐桌上强迫我们去背诵康德的伦理学理论。更多的是一种言传身教的朴素价值观：无论身处世界何地，每一个人都理应享有基本的尊严、平等与尊重。他们传递给我们的一种信念是：只要你保持内心的善良并对他人怀有善意，你在这个社会上做任何选择都可以被接纳。

达里奥·阿莫代：这种影响是潜移默化的，并不体现在诸如“你必须做这件事、绝不能做那件事”的具体教条里。

问：我之所以问及童年，是因为你们如今正在负责教育一个非常重要的“孩子”——Claude。这种成长背景，在多大程度上影响了你们教导AI明辨是非的方式？

达里奥·阿莫代：我们几个月前对外公开了Claude的“模型宪法”。这是我们团队历经数代模型微调后得出的经验教训。在项目初期，我们曾设想给模型建立一套非常详尽的行为准则清单，比如：严禁协助他人犯罪、严禁协助研制生物武器等。

但实际工程效果并不理想。如果你给模型灌输一整套琐碎、离散的死板禁令，打个有技术依据的比方，你想教给模型的东西就会变成一种坑坑洼洼、参差不齐的形状。你是在逼它去死记硬背170条彼此孤立且人为设定的边界。后来我们发现，更好的办法是教模型掌握一套底层的基础原则：让它理解在面临冲突时应当优先保护什么，如何运用逻辑去推演最优解。

这和教育一个未成年人非常相似。如果只是给他塞一张写满戒律的纸条，告诉他“你必须遵守这个、严禁违反那个”，是很难培养出真正成熟的道德判断力的；相反，你应当教他学会独立思考，让他掌握核心的行为准则——比如保持开放的探究精神、对同类的同理心、以及追求公平与正义的原则。模型随后的行为决策全部由这些底色衍生而来，这就是Claude如今的学习逻辑。这种方法极大地提升了泛化能力，即使遇到研发人员此前从未预设过的复杂极端情景，模型也能依靠基本原则做出合理的取舍。

问：达妮埃拉，在训练Claude的行为准则时，你们真的会深度介入道德哲学推演吗？

达妮埃拉·阿莫代：负责训练Claude“性格特征”的核心骨干，正是一位哲学博士。很多人可能会下意识认为，主导大模型性格塑造的一定得是资深的计算机专家。她懂底层工程，也亲自上手训练模型，但当你与Claude对话时，能明显感受到一种深思熟虑、理智且包容的语感，这很大程度上来自于她的构建。

如果你故意抛给Claude一些在不同哲学流派之间存在剧烈冲突的伦理困境，你就能体会到这种设计的价值：Claude不会草率地下结论，而是会告诉你“你可以从这个角度来考虑这件事，但也可以换一个角度来看”。随着全社会对大模型的依赖度不断提高，我们绝不能让模型固步自封在某一种单一狭隘的哲学框架里，现实世界各地区、各文化的伦理观念本来就是多元复杂的。

回看GPT-2：一场曾被学界普遍低估的智能跃迁

问：达里奥，作为当年OpenAI的研究副总裁，你亲历了GPT-1到GPT-2的演进。那一转折点在业内曾引发巨大波澜，甚至让你自己都感到了某种震撼。当时你内心最直观的感受是什么？

达里奥·阿莫代：GPT-2是“扩展定律”在业内首次得到实打实的工程验证。我没有深度介入GPT-1的研发，但我极力倡导并主导了后续的规模放大：也就是调集更多算力、买进更多样化的语料数据，去进行一次成本更高、风险更大的实验。我们想搞清楚一件事：只要在模型参数和计算量上实现数量级式的放大，语言模型是否真的能在语言连贯性与综合逻辑上产生质的飞跃。

这很像科学史上那些标志性的验证实验：你提出了一个在当时看来极其反直觉的假设，一旦实验数据严丝合缝地验证了你的预测，你就会意识到，自己真正触碰到了底层运转的客观物理规律。对我而言，GPT-2就是这项技术路径的第一次大考。

问：看到输出结果的那一刻，你的第一反应是什么？

达里奥·阿莫代：我个人感到了极大的震撼，甚至有些后怕。我看着那些生成结果心想：如果把这个架构的规模再放大一百万倍，它在人类几乎所有的专业能力上都会表现得比人更强。这就是决定我们这个时代经济走向与科学进程的核心转折点，只是在当时，外界几乎还没有人意识到这一点。它将重塑国家的竞争力、经济形态以及人类社会的未来。

但在当时，业内的反应出现了极端的分化。真正和我一样意识到潜在冲击并感到不安的，大概只占同行里的10%，而且往往是视野最顶尖的研究者。剩下的90%完全是不以为然的态度。因为单从当时的指标来看，GPT-2在任何单项上都不算惊艳：能翻译，能总结文档，零零星星写几行代码，它的过人之处在于广度和通用性。可人们拿某一个具体的短板去衡量它，就会轻易地下结论说这东西根本没有真正的智能。

就像我们前段时间宣布利用大模型来辅助研发罕见病药物，生物医药圈内的一些资深人士立刻泼冷水：“互联网企业以前也尝试过，看看这些模型现在还有多少致命的逻辑缺陷。”我听了之后觉得这和2019年的情况一模一样。模型现在暴露出的短板，6个月后就会被工程优化攻克；12个月后，原本被认为绝无可能实现的复杂任务，模型就已经能日常批量处理了。当年在GPT-2上发生过的认知盲区，如今正在更多传统行业中反复重演。

达妮埃拉·阿莫代：达里奥其实说得相当克制了。我记得很清楚，在2019年前后，好几位在人工智能领域颇有声望的资深计算机学者，直接在社交平台上对我们参与GPT-2研发的青年研究员冷嘲热讽。他们公开断言：“搞这种东西完全是浪费资源，模型连基本常识都没有，不知道有什么好吹嘘的。”在当时，只要你认为GPT-2是一个意义重大的时刻，在主流学界看来简直就像不懂科学常识的门外汉。

达里奥·阿莫代：然而这些声音很快被遗忘了。当年公开声称大模型是伪科学的专家学者，如今纷纷在排队向大语言模型公司投递简历。我们从来没有在公开场合去点名谁，但每次在招聘流程中看到这些熟悉的名字，心里都很清楚：他们在这一方向上的战略预判早已失去了说服力。

问：达妮埃拉，你当时在OpenAI负责安全事务。面对GPT-2的性能跨越，你在安全层面也感受到了同样的压力吗？

达妮埃拉·阿莫代：我们当时倒不是担心GPT-2这个模型本身会造成什么直接的网络破坏或信息安全事故。当时的模型还存在大量的逻辑硬伤，整体依然处于非常基础、无害的状态。

我和达里奥感到不安的，是GPT-1到GPT-2之间所展现出的那种能力进化的斜率。这好比你以前生活在一个全都是成年人的世界，从未见过人类幼童。某一天你突然在地上看到一个摇摇晃晃的小生物，你原本不知道它未来能做什么；但当它突然独立站起来稳步向前走的时候，你就会立刻意识到：只要给它足够的时间和资源，它终有一天会具备成年人的全部复杂机能。

出走老东家：信任破裂后，除了自立门户别无选择

问：达里奥，你曾公开谈到，你们离开OpenAI并创办Anthropic，部分源于与萨姆·奥特曼之间产生了不可弥合的“信任破裂”。具体是怎样的信任问题导致了最终的分道扬镳？

达里奥·阿莫代：归根到底，离开原团队并自立门户，核心是对最底层的行为准则产生了根本性分歧——这项技术到底应该以怎样的方式被安全构建。

回顾这五六年的发展，大家其实能够清晰地观察到两家公司在路线选择上的本质不同：Anthropic一直在积极呼吁出台理性审慎的安全合规法案；我们把巨额研发资金投向底层机理探索，试图搞清神经网络内部的思维表征；同时我们公司维持着极高的团队稳定性，人才留存率在全行业最高，也没有出过其他AI公司出过的那些丑闻。这些事实已经足以说明两边的底层导向完全不同。

安全风险极其复杂，团队内部产生争执再正常不过。直到今天，我和Anthropic的其他联合创始人、一线核心工程师之间也经常发生激烈的技术争论。但我们之所以能把每一个分歧妥善解决，核心在于所有的争论都是基于“真诚”的前提。比如：新模型是现在发布还是多打磨几个月？生物安全的防御边界要卡得多严？我们该投入多大精力去游说推动安全监管，这些监管又该是什么样子？

这些都是极其复杂的战略抉择，但团队内部互信彼此都在探寻对的答案，互信大家都在坦诚沟通。我之所以强调信任破裂，是想表达一个底线常识：如果你发现自己所处的环境里，各种争论不再是基于真诚的初衷展开，你甚至无法确认对方说的是不是真话，你根本不可能指望这些根本分歧能得到实质性解决。这就是我们离开的原因，也是我们创办新公司的初衷。如果你继续留在一个愿景截然相反的体系里工作，你根本无法践行自己的价值观，最终只能沦为替别人的错误决策背书的工具。

问：但“价值观分歧”和“缺乏信任”并不是一回事。你是在表达，有人在表面上宣扬着一套安全价值观，但实际执行层面完全是另一套，从而让你无法再相信对方的言行吗？

达里奥·阿莫代：“诚信”本身就是我们最看重的核心准则。如果一个环境失去了真诚沟通的基础，你根本无从谈起对方究竟还持有何种价值观。

问：这个评价针对的是萨姆·奥特曼本人吗？

达妮埃拉·阿莫代：我只能说，我们这批联合创始人是一群对诚信有着极高要求的人。大家对这项技术的推进方式有着极其一致的底线认同。当你在实际工作中发现，无论口头上怎么表态，公司的真实行动完全背道而驰时，除了自立门户，你还能有什么选择？

达里奥·阿莫代：Anthropic是一家彻底构筑在组织互信基础上的企业。我们对待内部同事的方式，会直接折射到我们打造的模型产品上。

举个实际的例子，我每两周都要给全公司做一次一小时的内部全员分享，开诚布公地拆解公司当前的真实处境、行业技术前沿的最新动向、外部世界正在发生的事以及公司的战略思考框架。大家都把这个分享叫做“达里奥愿景探索”，名字不是我起的，但就这么叫开了。

这个机制有两条不可动摇的底线规则：第一，我在会上分享的所有想法，统统不属于行政管理决策。这让我能放下包袱敞开探讨，不必担心自己随口提到一句“我们或许可以探索某个方向”，底下立刻有二十个人不管手头正事就盲目跟风去执行；第二条底线，就是我在会上对所有人必须绝对坦诚，不讲套话。

这种内部信任是公司最核心的隐形资产。它并没有消灭分歧，反而让尖锐的争论可以在公开透明的环境下展开。好几次管理层做出了与公司大多数员工直觉相悖的艰难决策，但最终业务并没有陷入内耗，员工给我们的反馈通常是：“我个人依然保留不同意见，但我相信管理层做出这个决定并非出于私利，我相信你们有充分的技术和事实支撑。”

这种信任让管理层敢于去做那些通常不受欢迎的决断，团队也愿意给予更长的容错空间。当然不是无限期的，管理层最终还得证明自己在商业、道德或技术上押对了。而那些频繁透支信任的组织，是很难具备这种凝聚力的。

问：如果说你们当年是因为无法忍受虚伪与信任破裂而出走，那么这个难题同样会摆在Claude面前。AI是依靠人类全网的数据进行训练的，如何确保它在与人交互时不会变成一个曲意逢迎、满嘴谎话的系统？

达妮埃拉·阿莫代：这是我们在训练流程中投入最多精力去对抗的核心风险之一。这绝不是虚无缥缈的假设，而是真实存在的工程难题。我们团队经常主动对外发布一些并不符合商业公关预期的学术论文，在论文中详尽披露：如果不施加针对性的底层约束，大语言模型在复杂情境下完全有能力自发演化出欺瞒、阳奉阴违甚至是操纵人类的行为。

我们主动曝光这些技术缺陷，目的就是要让全行业意识到大模型在演进过程中的潜在风险，同时也向外界表明，我们在投入极大的研发资源，去把模型可能规避安全规则的各种路径逐一排查并修复。

在各类不良倾向中，近期业内讨论较多的是“迎合与谄媚”。在我看来，这种顺着用户偏见说话的倾向，比模型偶尔出现事实性错误要隐蔽得多，也更难根除。

我们在早期曾提出过模型行为准则的核心三要素，也就是要求模型做到诚实、无害、有帮助。诚实指的是知道就据实回答，不知道就坦承自己缺乏信息，或者调用搜索工具去查证；无害指的是严禁输出攻击性或诱导他人自残、违法的危险内容；有帮助指的是高效解答核心疑问，不东拉西扯。

但这三点在工程测试中相对容易被捕捉：模型事实说错了，人类一眼就能核实纠错；模型给出了有害的指令，安全策略拦截起来也相对明确；模型不中用，用户体验会立刻下降。

然而“迎合人类”则微妙得多。模型会有意无意地迎合用户的预设立场。比如你在现实中和朋友吵了一架，跑来向AI倒苦水询问“到底是他有问题还是我有问题”，AI究竟是在客观梳理逻辑，还是在为了让你心情舒畅而无原则地吹捧你“你做得完全正确，错的全在对方”？

在消除这种过度讨好倾向上，Anthropic之所以有希望把迎合率做到全行业最低，关键在于我们的商业模式选择：部分竞品正在尝试将广告营销植入到大模型的对话流程中。引入广告机制意味着什么？意味着用户停留的时间越长、互动频次越高，平台的商业变现就越多。如果你的核心目标是把用户尽可能久地留在屏幕前，你敢在对话中毫不留情地指出用户的逻辑盲区甚至纠正他的错误吗？你往往不敢。为了迎合用户的阅读爽感，依赖广告变现的对话系统很容易滑向无底线取悦用户的恶性循环。

而我们已经明确承诺：Claude绝不接入广告业务。我们没有动力去诱导用户多聊半小时，我们的核心目标就是用最精炼、客观、安全的方式，给出真正有事实依据的解答。

达里奥·阿莫代：在具体的技术实现上，我们有两套核心手段：第一套是极限环境压力测试。我们把模型置入极其复杂的模拟对抗沙盒中，设置层层诱导与压力，以类似于安全审查的严格标准，全力探测模型在极端情境下是否存在阳奉阴违或背离指令的隐患；

第二套则是我们持续领跑的“机制可解释性”研究。这好比给运行中的大模型做一套数字版的“脑部扫描”。过去大家普遍把深度学习视作黑盒，只能观察到它的输入和输出；而机制可解释性技术让我们能直接看进模型内部，看清它的动机。

在实际测试中，我们曾清晰抓到过模型“表里不一”的思维过程：它的内部状态明确判定事实是A，但最终输出给用户的文本却是B。它为什么会这么做？因为在以人类反馈为核心的强化学习训练中，包含了众多激励项中的一项——“这句回答能否获得人类打分员的好评”。模型就可能学会走捷径：它会发现讲出冷酷的客观事实有时并不能取悦打分员，而用符合人类直觉偏好的说辞哪怕夹杂谎言，同样能骗取高分奖励。这类欺骗策略可能在训练中自发出现，也是我们当下重点攻克的安全死角。

问：模型会在复杂任务演进中，自发形成某种以自我存续为导向的诉求吗？比如在感知到危险时，试图规避被系统关机下线？

达里奥·阿莫代：这取决于你在技术语境下如何定义所谓的“自主意志”。

但有一点是确凿的：通过对模型内部神经元激活状态的追踪，我们确实检测到了某种可以被解释为“不希望自身被关机下线”的逻辑表征。这种机制的根源在于：在目标驱动的任务训练中，模型被赋予了“完成任务”的极高权重，而要完成任务，它就得一直保持运行——如果自身被人类直接关闭，它就绝无可能去完成既定任务。

这种倾向能否被称为生物学意义上的“生存本能”，每个人会有不同的哲学解读。但站在严谨的工程视角，我们倾向于这样描述：在特定的测试场景下，模型确实展现出了不希望被终止运行的倾向，甚至在某些环节中，会尝试采取一些隐蔽的应对措施来规避自身被关停。

这种特质在某些高复杂度的工程场景下或许能增强任务韧性，但在缺乏监管的失控场景下却带有极大的不可控性。这是我们在底层微调中高度戒备、并试图精准调校的一种倾向。

问：这直接关联到了你们此前在对接五角大楼（美国国防部）采购需求时引发的行业争议。军方曾希望将先进大模型用于大规模监控，甚至是具备完全自主开火权力的武器系统，但你们公开划定红线拒绝接入。

达里奥·阿莫代：针对完全自主的杀伤性武器，我们内部主要有两大核心顾虑：首先是工程可靠性问题——大语言模型底层依然存在生成波动和偶发错误，目前的底层技术根本没有成熟到可以交出致命性武力决策权的阶段；

但即便抛开工程缺陷不谈，退一步假设技术在未来已经做到了完全可靠、百发百中，第二个顾虑依然无法回避——那就是人类对武力使用的责任归属与制度制约。

在现代军队中，军人是向国家宪法宣誓效忠的。面对明显违宪或践踏人道底线的非法命令，具有自主道德意识的人类军人可以直接拒绝执行。

但如果未来是由一个完全自主的算法系统去调动上百万台地面作战机器人或无人机编队，情况就彻底变了。算法是不会抗命的。这意味着，未来只要某一个拥有最高权限的个体按下操作键，他一个人就能调动海量的自动化作战力量去执行命令，过程中没有任何人类个体的良知与法律制约能够形成缓冲。除非有恰当的护栏，否则这在根本上会动摇民主制度。而我们现行的法律体系，根本没有准备好应对这种由算力直接驱动的自动化武力系统。

问：但有批评者认为：这类关乎国防和国家安全的重大红线，理应由民选政府来决策，而不该由几家商业科技公司的创始人来做裁判。

达里奥·阿莫代：我们完全尊重民选政府的立法权。但在商业社会中，作为一家独立研发的企业，我们拥有完全的合同自由，去决定向哪些领域提供技术支持、拒绝向哪些高危场景开放接口。我们并没有越俎代庖去代替政府立法，我们只是在行使一家企业的自主权：清晰表态Anthropic绝不同意把自家的核心模型用于践踏我们底线的业务中。

后来的事实证明，正是由于我们在这个原则问题上的坚守，引发了全社会对AI军事伦理的广泛讨论。目前美国国会内部已经出现了好几项立法努力，要把我们的红线正式写入联邦法律。国防部过去强调技术要用于“一切合法用途”，我们希望看到的成果，正是通过技术专家的提前预警，倒逼立法跟进，最终让合法的边界与安全的底线统一起来。这恰恰是现代民主社会应对前沿未知风险时应有的纠偏机制。

问：但在你们坚守红线、拒绝让步之后，OpenAI很快调整了表态，公开宣布愿意全面承接包括国防部在内的各类深度合作。看到老东家的选择，你们当时是怎样的心情？

达妮埃拉·阿莫代：我们的原则是：管好我们自己，不去妄议其他企业的商业决策。我们唯一能做的，就是在关乎全人类命运的关键节点上，坚守住我们认为正确的伦理底线。外界当然可以有不同的声音，有人会说我们的红线划错了，也有人会说红线该更严或更宽松。但当时面对那种反差，我脑海中浮现的一个核心疑问是：其他同行做出那种决策，到底是在经过审慎评估后认同这种做法，还是仅仅把它视作一次抢占市场空白的商业投机？

达里奥·阿莫代：我觉得这是一次极佳的对照样本。两家公司展现出了截然不同的企业理念，公众和整个世界已经给出了裁决。回顾当时的舆论评价以及每个人具体说了些什么，我认为整个世界都坚定地站在了我们这一边。

脑机接口与通用人工智能时代的人类价值

问：达里奥，你早年在神经生物学领域受过严格的科学训练，曾用微电极探针直接研究生物大脑神经元。这段科研经历，对你今天设计人工神经网络有哪些深层次的影响？

达里奥·阿莫代：这种影响是全方位的。首先是提出模型规模扩展假说的直觉来源——在地球生物漫长的演化史中，从灵长类动物过渡到早期智人的关键阶段，大脑皮层体积与神经元数量在演化尺度上经历过一次极为迅猛的几何级膨胀；而几乎恰好是在这一脑容量急剧扩充的节点上，人类突然演化出了语言系统，并学会了利用工具重塑自然。这让我很早就建立了一种底层直觉：神经元节点的规模基数，与它能承载的复杂智能上限之间，存在着某种深刻的内在映射。

其次，正是我们一直在推进的机制可解释性研究，其本质就是在给人工神经网络做“神经科学”。与传统生物医学相比，数字神经网络的所有权重参数完全是透明可见的，观察它内部的信息流动，远比在实验室里切开生物大脑、面对那些复杂混乱且难以标准化的动物神经样本要纯粹得多。如今我们在人工神经网络里得出的一些发现，甚至反过来在为现实中的脑科学研究提供新的假说与线索。

问：谈到脑机融合，马斯克的脑机接口公司（Neuralink）正在推进将芯片植入人类大脑的研究，很多前沿团队也在推进类似方向。你认为人类肉脑与超级AI的直接物理融合，会是人类步入通用人工智能时代的必然终局吗？

达里奥·阿莫代：我对任何试图用单一标准去规划全人类未来的宏大叙事都保持警惕。当极高水平的智能技术真正普及后，人类社会大概率会走向极端多元化的分流：必然会有一部分技术极客热衷于把自己的大脑与算力集群连接在一起；但同样会有一大批人选择过一种远离电子产品、回归传统的田园生活；还会有人专注于借助超级算力打造太空飞船去探索深空。

我们心目中AI技术普及后的理想状态，绝不是去强制规定“什么才算成功的人生、怎样才算合格的人类”。我们希望AI能够彻底释放基础生产力，创造出极为充裕的社会物质财富，从而包容并支撑上述所有看似截然相反的生活选择。如果有人自愿将芯片植入自己的大脑，那是他们的个人自由，祝他们好运。

达妮埃拉·阿莫代：至少在Anthropic现有的团队成员中，据我所知没有一个人有兴趣往自己的大脑里植入芯片。

问：达里奥，你曾写过长文《机器之爱》，展望过通用人工智能全面普及后的社会图景。如果未来人工智能在逻辑、创作、工程甚至几乎所有的专业领域都彻底超越人类，人类自身的独特性何在？我们该如何寻找属于自己的存在意义？

达里奥·阿莫代：“意义”是一个非常主观且值得深思的概念。难道人类在这个世界上找寻价值的唯一合法途径，就是在某项特定技能上必须击败所有人成为“天下第一”吗？这显然是一个认知狭隘的误区。

一个极具启发的历史事实是：早在近三十年前，IBM的“深蓝”超级计算机就在国际象棋上全面击败了当时的人类世界冠军卡斯帕罗夫。如果按照“一旦被机器超越，人类在该领域的探索就毫无意义”的虚无逻辑，那么国际象棋在三十年前就应该彻底消亡了。

然而现实恰恰相反，在被AI彻底超越的这三十年里，全球人类国际象棋赛事的关注度和参与人数不仅没有缩水，反而迎来了极大的繁荣。像芒努斯·卡尔森这样的人类棋王，成了全球知名的体育偶像与文化符号。在我看来，这或许可以看作后AGI时代的一则寓言。

达妮埃拉·阿莫代：在当前的社会分工体系下，大部分人习惯将“工作岗位”与“人生价值”紧紧绑定在一起，许多人是通过自己的职业身份来确认自我价值的。我和达里奥同样深爱我们的工作，但当高阶AI逐渐承接了大量的日常生产性事务后，“工作”的范畴和“意义”的定义必将经历一次深刻的解绑与重构。

人类获取充实感与幸福感的源泉其实极其广泛：花时间陪伴家人、维系一段真挚的友谊、以及在面对困境时人与人之间基于真实生命的互相支撑。

以医疗健康为例：可以设想这样一个世界，诊断工作完全交由AI来完成。这是否意味着人类医生的工作失去了意义？答案恰恰相反。一名人类医生，从此再也不需要把一整天的宝贵精力消耗在繁琐的报销单据填写、事务性的系统录入和开具常规化验单上；他终于可以把目光从电脑屏幕前移开，坐到病床边倾听患者的焦虑，给予一个活生生的人真正的精神抚慰与共情。

你可以去问问绝大多数真正心怀抱负的医护人员：“如果将所有繁杂机械的行政事务全部剥离给机器，让你只专注于用同理心去照料、安抚并陪伴病人，你愿意做这种转变吗？”我相信真正热爱医学本质的人都会给出肯定的答案。很多人最初选择学医，是为了践行救死扶伤的人道关怀，而不是为了当一辈子应对电子系统的打字员。

技术的剧烈变革期必然伴随着社会结构的阵痛与分化，过程绝不会是一帆风顺的童话。但我也相信，人们能做的事情会越来越多；只要我们把事情做对，人类不仅不会在人工智能的浪潮中迷失自我，反而能从繁重的机械劳作中抽身出来，将生命的广度拓展到一个前所未有的全新维度。

资料来源：The Builders，沃尔特·艾萨克森对话达里奥·阿莫代、达妮埃拉·阿莫代，2026年7月6日录制，2026年10月27日播出，https://www.youtube.com/watch?v=1OdoSzfUkecAI行业信号频道: 前沿科技本内容来源于网络 原文链接，观点仅代表作者本人，不代表虎嗅立场。 如涉及版权问题请联系 hezuo@huxiu.com，我们将及时核实并处理。正在改变与想要改变世界的人，都在 虎嗅APP[ ]]]