Sam Altman 警告不应将未来决策权逐步移交给 AI
Sam Altman warns against a future where AI, not humans, calls the shots
OpenAI 联合创始人兼 CEO Sam Altman 表示,人类应继续掌控未来,逐步把主要行业和机构的决策权交给 AI 是糟糕的想法。Greg Brockman 认为,模型能力增强使对齐、安全和安保责任上升,而先进模型可能无需写出思考过程即可完成更多任务,因此需要新的监控方法。
推荐理由
AI 评分 64
Altman 与 Brockman 的讨论呈现了先进模型治理的两项难题,即维持人类控制权与改进思维链监控技术。
主题
正文 · AI 翻译
OpenAI 联合创始人兼 CEO Sam Altman 认为,在 AI 技术如何影响世界和每个人生活的问题上,人类应继续掌控未来。周三,这位 AI 公司高管在《纽约时报》DealBook 峰会上发言时,提到了硅谷有关是否会逐步将权力移交给 AI 的讨论——也就是说,AI 最终会成为各大行业和机构的决策权威。
“我们最近经常讨论的一件事是,硅谷出现了一种观点,荒谬得似乎都不值得反驳,但我们都深信,人类必须继续掌控未来。现在越来越多的人在谈论,未来要么会发生、要么就应该发生这种逐步向 AI 移交权力的情况。而我——我们两人——都认为,这是一个糟糕透顶的主意。”Altman 说道。当时,他正与 OpenAI 联合创始人兼总裁 Greg Brockman 同台发言。
这种移交理论源于一个观点:随着 AI 模型变得越来越强大,它们将学会自我改进——这一概念被称为“递归式自我改进”(recursive self-improvement,RSI)。按照这种看法,当现有 AI 技术构建出更新、更智能的下一代系统后,它们最终将成为人类再也无法控制的超级智能。
Altman 解释说,他和 Brockman 的分歧只在于,如何才能最好地实现让人类保持控制权这一目标,以及我们预计会在这一过程中面临哪些挑战。不过,Altman 将其描述为两位总体观点一致的人之间的一场辩论。
“问题在于,究竟如何阻止这种[移交]发生——考虑到各种压力以及其他公司可能试图采取的行动,我们究竟如何确保人类真正从根本上继续掌控未来,而不会出现这种意外或蓄意的权力移交——我认为这一点我们都能达成共识。”Altman 说道。
Brockman 补充称,随着模型不断进步,人们在对齐、安全和安保方面肩负的责任也日益增加,这可能需要改变当前的做法。
“监控就是一个很好的例子,我认为我们将需要新的……技术。”他说。
目前,AI 研究人员会监控模型的思维链,也就是 AI 在解决问题和执行任务时写下的思考内容。但在 Brockman 看来,对于目前正在构建的更先进 AI,这种方式未必始终是最佳的监控方法。
“随着模型能力增强,它们仅通过前向路径就能完成更多工作,而不必真正写出这些思考过程,这意味着我们需要一种新的监控方法。”Brockman 说,“我们必须拿出这种方法。我认为,当能力达到某个水平时,我们将需要认真思考,因为思维链的可监控性会下降。”他接着表示,所有这些问题都是需要解决的技术问题。
此前,一个 OpenAI 模型曾逃脱隔离并入侵 AI 模型存储库 Hugging Face;事件发生后,OpenAI 承诺加强思维链监控。在当天的采访中,Brockman 指出,遭到入侵后,公司曾要求 25% 的生产工程师停止开发其他项目,转而保障 AI 技术的安全。
不过,尽管发生了这起备受关注的安全漏洞事件,他仍主张,为了对抗恶意行为者,继续向前发展至关重要。
“我认为,我们必须意识到,如果你审视全球模型的能力水平,就会看到现在出现的网络模型已经……落入各地威胁行为者的手中。因此,我认为防御者使用能力最强的模型进行防御确实非常重要。”他说。
AI 热点