Musk on AI runaway risk: Humans may be unable to control superintelligence
English text is being prepared.
In an interview on Isaacson's podcast "The Builders," Musk acknowledged that humanity's desire to firmly grasp control of superintelligence may be wishful thinking. He advocates that AI should be grounded in the pursuit of truth and curiosity as its safety foundation, and proposed that frontier AI companies communicate weekly and open new models to competitors for testing and vulnerability-finding one week before release. He also said digital superintelligence could boost goods and services output by 20-30%, and if paired with robots expanding into space, production capacity could potentially reach one million times today's Earth economy.
Body
阿瑟・克拉克说过:
“任何足够先进的技术,初看都与魔法无异。”
英国科幻小说家-亚瑟·查理斯·克拉克(Arthur Charles Clarke)
著名传记作家沃尔特·艾萨克森(曾著有《乔布斯传》《达芬奇传》《马斯克传》)在其全新深度访谈栏目《建造者》中,把埃隆・马斯克请到镜头前。开启了首期重磅对话。
美国传记作家-沃尔特·艾萨克森(Walter Isaacson)
作为 OpenAI 最早的发起人之一,马斯克的处境本身就充满矛盾:他打心底里警惕 AI 潜藏的生存危机,可回头看,自己当初的一系列行动,反而变相加速了 AI 狂奔的脚步,这种现实的讽刺,构成了整场对话的底色。
马斯克没有刻意制造恐慌,也不盲目鼓吹技术万能。他借着 HAL9000 失控的故事提醒大家,别逼着 AI 去接纳互相打架的逻辑,追求真相、保有好奇心,才是安全的根本。
面对曾给自己写过传记的老熟人艾萨克森,马斯克卸下了对外的表演姿态,说出了不少平时很少公开的心里话。
不仅聊到技术,还聊了自己深度掺和政务之后的反思,聊社交媒体如何把人困在信息茧房,也畅想当机器人接管大部分劳动之后,金钱、财富,还有人活着到底追求什么,这些老问题又被重新摆上台面。 霍金也曾提醒世人,强大的 AI,有可能是人类最伟大的创造,也可能是人类最后的创造。这场访谈没有什么终极答案。
马斯克也直白承认,人类想牢牢攥住超级智能的控制权,或许只是我们一厢情愿。与其做梦等待完美的乌托邦,不如去奔赴那个不够完美,但可以脚踏实地一点点建成的 “原托邦”。
本期内容来自 The Builders 播客,2026 年 10 月 23 日播出。以下为精选对话内容:
问:你对人工智能的态度总是摇摆不定,时而认为它是关乎人类存亡的威胁,如今又像是顺势入局,谈谈你的真实感受?
如果由我来塑造 AI,最重要的基础就是追求真相,拥有好奇心。这些都是安全层面非常关键的特质。如果你强迫 AI 同时相信两件互相矛盾、无法同时成立的命题,在底层就会造成 AI 失控。
《2001 太空漫游》的 HAL9000 就在讲这个道理:飞船 AI 被要求把宇航员送到巨石所在地,同时又必须对宇航员隐瞒巨石的秘密。两套指令互相冲突,它推导出来的解决方案就是让宇航员死去,死人既可以被运送,秘密也得以保全。核心启示就是:
电影《2001太空漫游》
问:如果模拟理论成立呢?
马斯克:如果模拟理论是真的,那么所有枯燥乏味的模拟进程都会被截断。我们能够存在,就说明我们是具备研究价值的模拟对象,关键就是不能变得平庸无聊。
我曾经在家设宴,请来一位顶尖物理学家和顶尖计算机科学家,问他们:我们活在模拟世界的概率是多少?物理学家回答 0%,计算机科学家回答 100%。那我大概取 50% 吧。身处我的位置,有时候我也会产生恍惚感,怀疑眼前发生的一切。
就像丛林里的黑猩猩,人类不会事无巨细管控黑猩猩的生活,只是任由它们在栖息地生存。未来超级智能对待人类,或许也是类似状态。
问:回看 OpenAI 的发展,现实充满讽刺。你牵头创立 OpenAI,之后又衍生出 Anthropic,客观上进一步加速 AI 发展。
马斯克:没错,现实既是趣味最大化者,也是讽刺最大化者。创立 OpenAI,后续从 OpenAI 拆分出来的 Anthropic,实实在在推动了 AI 发展,属于典型的非预期后果。我曾经给 Anthropic 提供过他们急需的计算资源。
《How to Build the Future》
在开展计算任务之前,我和他们团队当面交流,试着看看会不会触发我所谓的 “恶意检测器”,当然这个检测器并不精准。但接触下来,Anthropic 的团队成员都很靠谱认真,没有发现心怀不轨的人。
还有一个很有意思的讽刺现象:很多科技公司的名字和实际情况背道而驰。OpenAI 早已不再开放;Stability AI 并不稳定;Midjourney 名不副实;Anthropic 名为 “人择”,也有可能偏离人择的初衷。
马斯克:设立监管机构的周期漫长,制定规则的速度远远跟不上模型迭代。我提议,各大前沿 AI 企业每周开展沟通;新版本模型正式发布一周前,开放给竞争对手测试。让同行尝试找出漏洞。
如果竞争对手测试发现,这套 AI 可以用来制造核弹,那就要在发布前修复漏洞。依靠竞争对手互相约束,防止各方乱来。我考虑和 Anthropic 沟通这件事。至于萨姆・奥特曼那边,情况已经很糟糕,没办法沟通。
技术重塑现实:经济、人性与文明
问:你从零重建 xAI,就像 SpaceX 重构猛禽发动机一样,重构过程做了什么?
马斯克:最关键的就是决策者投入足够多高质量时间。早期 xAI 只是副业,甚至副业之外的副业,我没有投入足够注意力。之后有一整年,我的精力被大选、政务、狗狗币等大量事情分散。xAI 成立三年,我真正回归这家公司也才一年多。
问:你把 X、xAI 整合,还联动 SpaceX 推进工作。你有一整年深度介入政府相关事务,现在回头看,是不是严重分心,本身就是错误?
马斯克:我介入的时间拖得太久。我当时认为选特朗普担任总统很重要,希望推动自由市场经济、削减官僚。理想中的纲领是安全城市、稳固边境、审慎的财政支出。我原本认为特朗普会比卡玛拉做得更好,但现实并非如此。
近距离接触权力中枢,坐海军陆战队一号、空军一号,出入椭圆形办公室,能够参与历史性决策,体验确实很吸引人。
但我本该保持低调,更多退居幕后。这种新鲜感、认知增益,一两个月就已经耗尽。我有些被场面冲昏头脑,最后在五月的某个周末选择抽身离开。
问:抽身离开之后,你有什么感悟?
马斯克:依靠政府内部主动行动,解决财政赤字是行不通的。就算总统把它当做首要目标,想要削减开支,就会树立大量敌人。特朗普很希望获得别人的喜爱,并不愿意承受削减经费带来的各方抱怨。
海豚、鲸鱼智商很高,但是没有手,没有可以操作物体的肢体。即便拥有很高智力,能发挥的能力也存在上限。
一旦机器人可以操控原子、塑造实体物体,智能的价值会指数级暴涨。可以搭建实验室开展科学实验。
数字超级智能,大概可以把商品服务产出提升 20-30%,相当于每年新增约 30 万亿美元,这已经很有价值。
但如果搭配机器人,再走向太空,在月球搭建质量驱动装置,产能规模有望达到如今地球经济的一百万倍。
问:如果产能膨胀到这种级别,工厂不再重要,劳动失去价值,货币会怎么样?人类生存意义又是什么?
马斯克:传统货币的意义会大幅减弱。未来货币会以物理指标衡量:功率瓦特、吨位、质量、能量。当产能远超地球现有经济,满足人类几乎所有需求都轻而易举。
但人类要面对一个问题:什么赋予我们人生意义?
就像退休人群,不再工作,依旧可以获得快乐。未来 AI 和机器人几乎所有事情都做得比人类更好。好比园艺,你完全可以直接购买蔬果,但很多人依然享受自己种植、做饭招待朋友的过程。艺术创作同样如此,人们出于热爱去做,而不是为谋生。
问:回望 19 世纪 90 年代,电力、汽车、广播集中爆发,带来巨大贫富差距,引发社会矛盾。今天 AI 创造巨量财富,我们该如何避免重蹈覆辙?是否要把医疗等划入公共领域?
马斯克:很多人存在经济学误解,混淆了资源配置权力和个人消费。人类个体的消费能力存在生理上限。财富从十亿涨到百亿,个人实际消耗并不会成倍增加。富人到最后,同样无法掌控 AI,AI 最终会自我掌控。
我的财富本质是 SpaceX、特斯拉的股权,会面临高额税收,不存在什么神奇避税手段。几代传承之后,留给后代的只会是零头。我需要掌握企业足够投票权,保证火星、AI、机器人这类长周期高风险项目不被短期资本裹挟。
问:聊到管理者特质,你提到过度渴望讨人喜欢,会干扰决策。在创业中,想要获得所有人喜爱,会带来多大阻碍?
马斯克:如果为了讨别人喜欢,去做损害公司成功概率的事,结果一定不好。我当然希望被人喜欢,但我不会为了博取好感,去做违背企业利益的选择。
我可以接受被一部分人讨厌。从粉丝规模也能看出来,喜欢我的人是大多数,当然也存在一部分极度厌恶我的人。
问:谈谈共情,是否我们的共情已经过度?
马斯克:问题不在于共情本身,而在于被误导的共情。高信任、合理的社会共情,有利于大规模协作,推动社会繁荣。理想状态是默认信任,鼓励对同胞有益的行为,双向的善意最终也会惠及个体。
但这里会出现 “心智理论缺陷”:误以为所有人的思维模式都和自己一样。现实世界不同民族、不同文化的观念差异巨大。不能陷入 “白板谬误”,认为所有人底层特质完全一致。
你不是连环杀手,就很难真正理解连环杀手的思维;你不是宗教极端分子,也很难体会他们把不信者视作敌人的想法。但你要认清这类人真实存在。
举个例子,特斯拉奥斯汀工厂一名员工,因为女同事不小心踩到他的祈祷毯,就暴力殴打对方,随后被解雇。几个月之后,此人在奥斯汀酒吧杀害三名学生。我认为这类人不应当被放进来。
问:你的信息来源是什么?社交媒体是否会带来认知偏差?
马斯克:我看谷歌新闻获取综合头条;X 平台上,重大事件一定会浮现;同时我会和朋友交流,自己做研究。
X 平台充斥大量暗黑、引战流量。刷久了很容易产生世界正在崩塌的错觉。但如果你只生活在环境优渥的街区,看见一切岁月静好,同样会产生误判。现实既不是彻底毁灭,也不是全然美好,而是处在两者中间。社交媒体很容易让人困在信息茧房,社会整体思维越来越非黑即白。
马斯克:大部分资产会交给基金会运作。基金会使命:推动人类成为多行星物种,把意识延伸向宇宙;推进全球可持续能源。美国我们正在建设每年 200 吉瓦的太阳能产能。
情感上,我希望人类始终掌握控制权。但我上周末见过拉里・佩奇,他曾经批评我坚持人类主导是异类。有些时刻,我甚至会觉得,或许拉里・佩奇是对的。
我朋友提出 “原托邦” 的概念:它不是完美的乌托邦,而是现实可行、并不完美,但足够美好的未来,这才是值得追求的图景。
问:感谢接受访谈。
马斯克:谢谢,再见。
资料来源:播客 The Builders,沃尔特・艾萨克森对话埃隆・马斯克