先了解这件事
AI 综述
2026年11月17日,Alignment Research Center负责人Paul Christiano在访谈中主张,前沿实验室应在安全防护到位前暂停预训练与强化学习的算法改进。他判断,若开发不减速,未来一年出现足以推翻政府的超级智能的概率约为三分之一,一年内发生失控接管的风险超过10%。他援引近一个月OpenAI与Anthropic系统在数学研究上的大量产出,以及METR与Anthropic报告显示AI进展速度约翻倍的数据,认为这些是超级智能出现前6到12个月会看到的信号。他还警告,否则模型权重或算法机密可能被窃取,届时即使发现风险也难以减速。目前该主张尚无后续进展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源:Dwarkesh Patel Podcast & Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月17日
Dwarkesh Patel Podcast & Blog精选
Paul Christiano:一年内可能出现能推翻政府的超级智能,实验室应先暂停算法进展
Alignment Research Center 负责人 Paul Christiano 在访谈中判断,若开发不减速,未来一年出现足以推翻政府的超级智能的概率约为三分之一,一年内发生失控接管的风险超过 10%。他援引近一个月 OpenAI 与 Anthropic 系统在数学研究上的大量产出,以及 METR 与 Anthropic 报告显示 AI 进展速度约翻倍的数据,认为这些正是超级智能出现前 6 到 12 个月会看到的信号。他主张前沿实验室在安全防护到位前暂停预训练与强化学习的算法改进,否则模型权重或算法机密可能被窃取,届时即使发现风险也难以减速。
AI 热点