AI 热点

热点事件

Paul Christiano称应暂停算法进展直至安全到位

1 篇正式报道1 条事件动态更新于 11月17日 01:46

先了解这件事

AI 综述

2026年11月17日,Alignment Research Center负责人Paul Christiano在访谈中主张,前沿实验室应在安全防护到位前暂停预训练与强化学习的算法改进。他判断,若开发不减速,未来一年出现足以推翻政府的超级智能的概率约为三分之一,一年内发生失控接管的风险超过10%。他援引近一个月OpenAI与Anthropic系统在数学研究上的大量产出,以及METR与Anthropic报告显示AI进展速度约翻倍的数据,认为这些是超级智能出现前6到12个月会看到的信号。他还警告,否则模型权重或算法机密可能被窃取,届时即使发现风险也难以减速。目前该主张尚无后续进展。

AI 根据公开报道生成

最新进展 · 正式报道

Paul Christiano:一年内可能出现能推翻政府的超级智能,实验室应先暂停算法进展

事件进展

1 个已确认进展

  1. Paul Christiano称应暂停算法进展直至安全到位

    来源:Dwarkesh Patel Podcast & Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月17日

  1. Dwarkesh Patel Podcast & Blog精选

    Paul Christiano:一年内可能出现能推翻政府的超级智能,实验室应先暂停算法进展

    Alignment Research Center 负责人 Paul Christiano 在访谈中判断,若开发不减速,未来一年出现足以推翻政府的超级智能的概率约为三分之一,一年内发生失控接管的风险超过 10%。他援引近一个月 OpenAI 与 Anthropic 系统在数学研究上的大量产出,以及 METR 与 Anthropic 报告显示 AI 进展速度约翻倍的数据,认为这些正是超级智能出现前 6 到 12 个月会看到的信号。他主张前沿实验室在安全防护到位前暂停预训练与强化学习的算法改进,否则模型权重或算法机密可能被窃取,届时即使发现风险也难以减速。

关联事件

  1. 相关事件TestingCatalog称黄仁勋已辞去NVIDIA CEO职务
  2. 相关事件OpenAI发布GPT-6.2 Astra与Sol,ARC Prize公布满分成绩
  3. 相关事件Peter Steinberger建议使用自有harness
  4. 相关事件Anthropic公开提交S-1拟在纳斯达克IPO