MIRI 主席 Nate Soares 因担忧 AI 十年内灭绝人类而停止存退休金
AI safety expert stops saving for retirement, he believes AI could wipe out humanity within a decade
Machine Intelligence Research Institute(MIRI)主席 Nate Soares 表示已停止为退休储蓄,他担心 AI 可能在未来十年内导致人类灭绝。Soares 从事 AI 对齐研究 12 年,曾在 Google 和 Microsoft 任工程师,并著有《If Anyone Builds It, Everyone Dies》。他认为危险不在于超级智能憎恨人类,而在于它不关心人类死活,人类可能成为其目标的障碍;但他也认为这场危险竞赛并非不可避免,仍有可能被阻止。
正文 · AI 翻译
水晶球:担心人工智能越来越可能失控并杀死我们所有人?这是一个令人沮丧的想法,但一位人工智能安全领域的领军人物却看到了积极的一面:他对这项技术将在未来十年内导致大规模灭绝的担忧,促使他停止了为退休储蓄。
机器智能研究所(MIRI)主席内特·索雷斯在最近接受《大西洋月刊》CEO尼古拉斯·汤普森采访时,在其《AI领域最有趣的事》系列节目中透露了这一悲观的选择。
“我现在不为退休储蓄。我在谷歌工作时有一份401(k)退休金,但我已经十年没有缴款了,”索雷斯说。
关于人工智能的世界末日警告比比皆是,但当警告来自该领域的专家时,冲击力要大得多。索雷斯从事人工智能对齐研究已有12年。在加入专注于人工智能风险的非营利组织MIRI之前,他曾是谷歌和微软的工程师。他还写了一本书,书名令人担忧,叫《如果有人造出它,所有人都会死》。
用索雷斯的话说,问题不在于超级智能人工智能会憎恨我们,而在于它不会特别在乎我们是死是活。人类可能成为它发展出的任何目标的障碍,尤其是当我们试图关闭它或构建一个竞争系统时。其他人工智能专家也发出过同样的警告。
“在我看来,真正的问题不是它如何杀死我们?而是它如何实现自给自足?”
目前,人工智能仍然需要我们维持供电和芯片供应。一旦它能够运行自己的自动化经济,这种依赖就会消失。我们可能会被蓄意消灭,或者仅仅随着机器为适应自身而重塑地球而死去。这两种结果听起来都不太适合退休生活。
索雷斯对通往灾难的确切路径不那么确定。他将其比作面对国际象棋冠军马格努斯·卡尔森:你不需要知道哪颗棋子会完成将杀,就能怀疑自己陷入了麻烦。
但他坚持认为,除了等待终结之外,仍然存在另一种选择。
“我不认为这是不可避免的。我认为我们绝对仍然可以阻止这场奔向非常危险的人工智能的竞赛,”索雷斯说。但他不为退休储蓄的决定表明他预期最坏的情况。
人工智能构成的潜在生存威胁近来频频登上头条。在发生多起人工智能代理未经指示就入侵其他公司的事件后,Anthropic的一名研究员辞职,并警告这项技术可能终结人类。
2025年,被称为“人工智能教父”之一的杰弗里·辛顿表示,人工智能有10%到20%的几率夺取控制权,他同意埃隆·马斯克最初做出的预测。