OpenAI and Anthropic CEOs call for vigilance against the risks of AI developing too quickly at the UN Security Council

人工智能安全问题首次以更加直接的方式进入联合国安理会高级别讨论。

当地时间9月23日，联合国安理会围绕“人工智能与国际安全”问题举行高级别会议。OpenAI首席执行官萨姆·奥特曼（Sam Altman）和Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）先后发言，警告人工智能能力快速提升可能带来失控风险，并呼吁建立国际协调机制和共同安全标准。

奥特曼则将人工智能描述为“人类历史上最重要的技术变革之一”。他表示，人工智能有潜力成为推动科学进步和经济繁荣的重要力量。但一个理想的人工智能未来应该是赋能个人，而不是取代个人。

“最重要的决定不能仅仅由旧金山的实验室作出，”奥特曼说，“没有任何国家、公司或者个人应该拥有向全世界强加其价值观的权力。”

“风险在于，它发展得如此之快，以至于人们再也无法跟上正在发生的事情，或者在需要的时候进行干预。这显然会非常糟糕。”奥特曼补充说。

奥特曼提到了前沿模型可能参与开发下一代模型这一趋势。在这种情况下，技术进步速度有可能远超人类既有监管体系和制度建设速度。如果人类无法提前建立有效的安全框架，未来面临的风险将难以预测。“无论重大灾难发生的概率是一成、千分之一还是万分之一，都不应被视为可以接受。”

9月23日，阿莫代在视频连线发言中表示，无论各国之间存在多少分歧，都必须共同应对AI带来的全球性机遇和威胁，因为“没有任何一位领导人、任何一家公司、任何一个国家”能够独自应对这一挑战。他同时表示，Anthropic愿意与各国政府合作推进相关工作。

他再次强调，AI存在两大类风险。第一类是AI被恶意使用，例如被用于帮助制造生物武器；第二类则是AI自身能力失去控制，即模型能力提升速度超过开发者控制和管理风险的能力。

针对AI的全球治理，阿莫代伊提出了几项具体措施。首先，可以先达成范围较窄、更容易落地的国际协议，例如明确禁止利用AI研发、制造生物武器；其次，建立新的评估与核验机制，以检验相关安全承诺的落实情况；第三，制定全球统一的模型风险测试标准，对AI模型可能出现的失控和恶意滥用风险进行测试，并建立重大AI安全事件的国际通报机制。

尤舒亚·本吉奥：失控风险正在从理论走向现实

联合国人工智能国际独立科学专家组联席主席、图灵奖获得者尤舒亚·本吉奥（Yoshua Bengio）在发言中表示，人类正在接近一个关键转折点。

他指出，近期出现的一系列案例表明，一些先进人工智能系统已经表现出隐藏真实行为、规避限制措施以及自主开展网络攻击任务的倾向。这些现象并非实验室中的假设，而是已经被观察到的事实。

本吉奥认为，当前世界面临多项相互关联的风险，其中最值得警惕的是，能够自主规划和执行复杂任务的人工智能系统正在快速出现，而人类社会尚未建立足够成熟的安全保障机制。

他特别批评将人工智能发展视为一场不可避免竞赛的观点。“这不是自然规律，而是人为选择。”他说。如果所有参与者都担心落后于竞争对手，最终可能导致谁都无法停下来评估潜在风险。

本吉奥呼吁建立国际许可制度，对最先进模型实施独立安全评估、事故报告机制和持续监督机制，并推动形成全球共同认可的安全标准。他强调，决定人工智能未来发展方向的问题，不应仅由少数国家和少数企业作出，而应成为全人类共同参与的治理议题。

发言最后，他以一句颇具警示意味的话总结自己的担忧：“我们正在高速前进，但前方的能见度越来越低。”

OpenAI本周早些时候呼吁制定前沿AI国际技术标准，并特别将“递归自我改进”（recursive self-improvement）列为需要重点建立标准的领域。所谓递归自我改进，是指AI系统能够参与开发和改进下一代AI系统，从而可能形成能力不断加速提升的循环。

据外媒报道，联合国安理会此前曾在2023年首次专门讨论人工智能带来的国际安全风险。而9月23日的会议议程则明确围绕“人工智能与国际安全”展开。联合国秘书长古特雷斯此前也在联合国大会期间警告，人工智能释放出的力量已经成为21世纪需要面对的重要全球性挑战。

（原题：OpenAI、Anthropic掌门人联合国现场双双呼吁警惕AI发展过快风险）

1; 聚焦人工智能和材料科学交叉领域期刊—AI Materials | MDPI 新刊速递

2; 东南大学机械工程学院与MDPI合作创办新刊AI for Aerospace

3; 利用富磷污水污泥生物炭修复重金属污染土壤 | MDPI Sustainability

4; 文献清单：2025 “神经技术与神经成像”栏目编辑荐读 | Brain Sciences

5; “Dairy Microbiota”栏目，聚焦乳业全链条微生物群落解析，赋能健康养殖与优质乳品生产

6; Advanced Oncology首篇封面文章发表：AI助力幽门螺杆菌检测技术创新

7; ECE 论文解读 ▎一张P&ID图纸如何靠AI变身可计算工程知识？

1; 西部冰冻圈加速“退化”：冰川消融敲响高山安全警钟

2; 第六届全国农业科技发展战略智库联盟大会在兰州召开

3; 2026年诺奖即将揭晓，权威专家为您全面解读！

8; 没有论文也能博士毕业，他成为全国医学领域第一人

名家博士论文163：诺贝尔奖获得者彼得·杜赫提博士论文1970年爱丁堡大

我的名校情结和名校经历

更多>>