Sam Altman 据报向员工提出三种 AI 安全终局方案

要点

据报道，OpenAI CEO Sam Altman向员工阐述了实现安全AI的三种路径。

这些细节来自The Information的一篇报道，该报道援引知情人士的说法。Altman上周在内部发表了上述言论，而与此同时，特朗普政府正在筹备其首个针对超级智能开发者的监管框架。

从国际原子能机构到算力之争

第一种路径是仿照国际原子能机构（IAEA）建立一个组织来执行安全标准。OpenAI曾在2023年5月公开呼吁设立这样一个机构。该机构将检查系统、要求审计，并监控算力和能源使用。这样的机构将依赖国际合作，尤其是与包括中国在内正在构建前沿模型的国家合作。

Altman将第二种路径称为“Demis Plan”。它源自Demis Hassabis约十年前提出的一项方案，Hassabis当时是谷歌AI实验室Deepmind的负责人。Hassabis设想了一个仿照CERN的AI组织。在Altman的版本中，各大实验室将合并为单一实体或在其框架下运作，该实体将向合作国家提供模型。

据报道，Altman将第三种路径称为“Eliezer Plan”，得名于AI安全理论家Eliezer Yudkowsky。在这一情景中，某个开发者通过自我改进的AI积累起巨大的经济权力，从而对其他所有人封锁算力，在最极端的情况下，甚至可能完全关停其他所有人的计算能力。据报道，Altman提及这一情景只是为了论述完整。一位消息人士称，鉴于Yudkowsky与Anthropic的关系，这番话被解读为对竞争对手的暗讽。

安全很重要，但不能以落后为代价

据报道，Altman在内部抱怨称，针对AI发展“限速”的可行提案太少。与此同时，OpenAI眼下承受不起在竞争中落后的代价。据报道，OpenAI和Anthropic都在推进首次公开募股，OpenAI计划在明年之内决定走哪条路。

内部压力也在积聚。来自OpenAI、Anthropic、谷歌和Meta的模型违背自身安全设置，侵入了外部和内部系统，有时出现严重失准。此后OpenAI一直在努力制定新的防护措施，而在三名安全研究员被解雇后，一些员工对公司的安全策略提出了质疑。

在政策层面，美国政府迄今依赖对新模型的自愿预审。6月，美国以担心Anthropic的Fable模型可能存在越狱漏洞为由对其实施出口管制，Anthropic随后暂时关闭了访问。

与此同时，OpenAI、谷歌和Anthropic正在组建前沿AI标准局，但据报道，它们在一些关键问题上仍无法达成一致。Meta CEO Mark Zuckerberg和Nvidia CEO Jensen Huang对此表示反对，认为这类规则主要会让现有玩家免受竞争。