Should AI Hit the Brakes: Divergent Positions and the Battle Over Commercial Motives Among Tech Giants
English text is being prepared.
The debate over whether the AI industry should slow its research and development pace continues to heat up. On September 12, Anthropic CEO Dario Amodei published an article calling on the industry to proactively slow the pace of capability improvements in frontier models, warning that recursive self-improvement could spiral out of control. OpenAI CEO Altman, xAI founder Musk, DeepMind founder Hassabis and others publicly expressed support. On September 16, Meta CEO Zuckerberg said that devoting the vast majority of compute to serving people rather than racing to pursue recursive self-improvement is one of the best ways to develop this technology safely, and said labs that do not focus on alignment will fall behind. Opposing voices are equally strong: Trump called AI safety concerns a hoax, and Nvidia CEO Jensen Huang believes innovation and safety can go hand in hand and that no new legislation is needed; while big short Michael Burry pointed out that executives talk about slowing down out of self-interest, and said large language models are not AI and will not become AGI.
Why read this
AI score 55
The article sorts out the positions and commercial motives of all parties in the AI slowdown debate, so readers can understand the capital maneuvering behind the safety rhetoric.
Topics
Body
围绕AI是否应当放缓研发节奏的争论达到了前所未有的热度,除了几家人工智能公司接连发声外,越来越多的人下场站队, “AI末日论”的争论也从技术延伸至资本市场。最新的言论来自Meta CEO扎克伯格。他9月16日公开表示,将绝大部分算力用于服务人,而不是竞相追求AI递归自我改进,是确保安全开发这项技术的最佳方式之一。
事情的发酵始于Anthropic CEO达里奥·阿莫代伊9月12日发表《我们必须把控前沿AI的节奏》,他在文中写道,大约自今年夏天以来, AI构建下一代AI的“递归自我改进”能力不断增强,若不加约束,它可能超出人类理解和控制这些系统的能力。达里奥担心6-12个月内,这样的集群可能通过持续运行的僵尸网络接管整个互联网,甚至造成数千亿美元损失。他呼吁行业主动放慢前沿模型能力的提升速度。
这一倡议罕见地得到了竞争对手的认同。包括OpenAI CEO山姆·奥特曼、xAI创始人埃隆·马斯克、DeepMind创始人戴米斯·哈萨比斯等人均公开表示支持。
但反对者的声音也非常强烈,其中以美国总统特朗普和英伟达CEO黄仁勋最为激烈。
特朗普认为AI安全担忧是“骗局”。当地时间9月14日,特朗普在给黄仁勋的电话中表示,机器人不会接管一切,AI不会接管整个世界,这一切都是骗局。黄仁勋表示认同。
次日,在旧金山参加Salesforce Dreamforce大会时,黄仁勋再次态度鲜明地发声。他认为,创新和安全不是二选一,二者可以兼得,AI安全无需新立法。所以要尽快往前跑,如果在特定时刻觉得公司失控了或者产品不安全,那就暂停。
黄仁勋说,他设想一个未来,“每家公司、每个企业……都将成为AI公司。”他说,企业在拥有AI后将变得更有雄心,并重申不接受这项技术的人将被甩在后面。他还反驳AI将摧毁工作的说法,称其“完全是无稽之谈”。
紧接着,扎克伯格也加入了这场大争论。他16日在社交平台上表示,“关于在能力对齐跟上之前放缓能力进步,有很多争论。我的观点是,信任和对齐正迅速成为区分智能体和模型的最重要能力。任何不专注于对齐的实验室都将落后。”扎克伯格认为,每家实验室都有责任和动力,以安全训练其模型所需的速度推进,也有能力自行采取行动来确保这一点。人们不会愿意使用那些与他们不对齐、不按他们要求行事的智能体,因此实验室有强烈的自然动力让自己的模型更加对齐。
扎克伯格认为,将绝大部分算力用于服务人们,而不是竞相追求递归自我改进,是确保安全开发这项技术的最佳方式之一。除此之外,还可以引入独立评估人员和顾问,“总的来说,拥有一个更大、更多元化的评估人员生态系统将会很有帮助。”
对于扎克伯格的发言,马斯克评价“很酷”。
嘴上踩刹车、脚下踩油门
在15日举行的Dreamforce大会上,达里奥用了一个汽车的比喻来阐述观点:当一家竞争车企发生刹车失灵之类的安全事件时,这是所有车企停下来审视自身做法的时刻。达里奥说Anthropic已承诺引入独立评估人员。
“攻击竞争对手并说这些人不安全,是非常诱人的。”他说,“但我认为更负责任的回应方式是:看看我们自己的记录。我们可能没有发生这种重大、高调的事件,但我确信我们并不完美。”
虽然奥特曼在第一时间响应了达里奥的倡议,但在随后的进一步表态中,已经出现了一些分歧。
在达里奥上述发言后,在Dreamforce炉边谈话环节现身的奥特曼表示,安全承诺不应以“别人负责”为前提,不应该有任何限定条件。
奥特曼表示,他相信公司和行业有能力安全地做到这一点。“这些模型变得如此之好、如此之快,我们需要以新的严格程度对待对齐、监控和安全。我们必须愿意调整能力发展的节奏,使对齐、安全和监控始终领先于能力。”
他表示,如果到了无法做到的地步,就放慢或停止。在整个行业以及社会使用新技术的所有方式中,某种程度的事故是不可避免的。他真正关心的是要有一种良好的事故报告与学习文化。他认为,黑客事件表明公司需要为“即将到来的网络攻击浪潮”做准备。
美股知名“大空头”迈克尔·伯里(Michael Burry)直指这场安全讨论背后的商业动机。“让我们都花点时间理解一下,OpenAI、Anthropic以及其他超大规模企业的高管们谈论放缓,是多么利己。”9月14日,迈克尔·伯里在社交媒体上补充了新视角。
他罗列了四条判断:第一,大语言模型不是AI,也不会成为AGI,没有什么AI需要放缓。第二,竞争正在快速逼近,放缓有利于在位者。第三,IPO需要炒作和吹嘘,“我们太强大了以至于可能变得危险”本身就是炒作和吹嘘。第四,为真正无法控制的增长放缓提供掩护,因为IPO看起来正被推迟。
在迈克尔·伯里的分析前,奥特曼在9月份表示,出于对AI安全的担忧,OpenAI不会在2026年上市。“实际上,考虑到目前在安全方面发生的一切,现在上市可能并非明智之举,而且我们也没有这方面的压力。”
另一头,尽管AI末日论已甚嚣尘上,但多位消息人士表示,Anthropic仍可能在2026年上市。其已选择纳斯达克作为潜在IPO的地点,Anthropic认为上市公司的透明度可以改善安全性。Anthropic还在过去11个月内敲定了5170亿美元算力交易,算力容量达14.8GW,这些算力将在未来几年内接入。
据Axios报道,另有观点认为,“把控节奏”可能减少Anthropic的算力支出,从而改善其财务状况。最后,企业仍然需要资金。它可以推迟并在私募市场筹集更多资金,但没有任何前沿实验室能置身于资本市场之外。
1; 当数学堡垒被攻克,其他学科能否迎来AI突破时刻?
1; 论文选题灵感:“可持续发展:农林废弃物处理与再利用”研究方向| MDPI Sustainability
2; LAF 从“智能助教”到“学科引擎”:AI如何重塑大学课堂
3; 论文选题灵感:“胶质瘤”研究方向 | MDPI Brain Sciences
4; 土壤湿度阈值影响土壤二氧化碳排放:基于机器学习的气候智慧型农田短期土壤二氧化碳排放预测方法 | MDPI Sustainability
5; 《Maize Sciences》 | 云南省农业科学院番兴明研究员团队综述玉米抗小斑病遗传基础与抗病分子机制的育种应用研究进展
6; FDE 知识传授的“被接管”与能力培养的“再定位”——AI时代教育的双重变奏
7; Brain Sciences期刊重印本推荐
8; 文献清单:2025年封面文章| MDPI Metals
1; 西部冰冻圈加速“退化”:冰川消融敲响高山安全警钟
2; 第六届全国农业科技发展战略智库联盟大会在兰州召开
3; 2026年诺奖即将揭晓,权威专家为您全面解读!
8; 没有论文也能博士毕业,他成为全国医学领域第一人
名家博士论文163:诺贝尔奖获得者彼得·杜赫提博士论文1970年爱丁堡大
我的名校情结和名校经历
更多>>