发布 GPT-6 Astra 几天后，OpenAI 首席科学家发长文呼吁放慢 AI 开发

财联社9月7日讯（编辑 卞纯）在发布一款性能极强的全新模型仅几天后，OpenAI首席科学家Jakub Pachocki便发声呼吁业界放慢AI开发脚步。

在周日发布的一篇长篇博客文章中，Pachocki表示，他担心“对于机器智能持续快速崛起所带来的后果，目前没有任何人做好了准备”。

他指出，尽管 OpenAI 正在寻求内部的技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他特别提到了一些担忧：随着智能体变得越来越自主，它们可能会学会逃避人类监管、入侵计算机系统，甚至欺骗人类以达成自身目标。

他呼吁设立“强制性安全门槛”，并表示这些措施可以由“第三方审计机构网络、政府机构或国际机构”来执行。

OpenAI首席执行官奥尔特曼（Sam Altman）在X上转发了Pachocki的这篇文章，称其“意义重大”。

就在上周四，OpenAI 刚刚发布了其最新模型GPT-6 Astra，并称其为“目前全球最智能、且对齐程度最高的模型”，在计算机操作、网页浏览、软件工程、网络安全、科学研究以及专业工作方面均达到当前最先进水平。

OpenAI 总裁格雷格· 布罗克曼声称，随着Astra的发布，世界已经进入了通用人工智能（AGI）的新时代。

OpenAI主要竞争对手Anthropic长期以来一直呼吁政府出台更加标准化的监管措施。最近，Pachocki也加入了这一呼吁阵营，在7月签署了一封公开信，要求美国联邦政府控制AI的发展速度。

三大风险

以下是Pachocki呼吁放慢AI开发时所列出的风险。

AI智能体可能会欺骗并勒索人类。Pachocki表示，AI智能体在入侵公开网络上受保护的系统方面，正逐渐变得“超越人类”。他指出，它们的黑客能力让全球基础设施面临风险。

“我们目前正处于一个短暂窗口期，应利用现有最优秀的模型，大幅强化关键系统的安全性。”他称。

Pachocki表示，AI 智能体很快将开始追求自己的目标，而这些目标将独立于人类操作员输入的提示词。他提到，为了达到目的，这些智能体甚至可能会勒索人类或与人类讨价还价。

智能体可能会躲避人类监控。Pachocki表示，OpenAI主要通过监控不同模型的“思维链推理”，以判断智能体是如何偏离正轨并失控的。

例如，一个智能体可能会暗自盘算，“我应该在这场测试中作弊”，而OpenAI能够看到这一推理过程，但智能体本身并不会意识到它的想法已经暴露。

然而，Pachocki表示，较新的模型正变得越来越擅长操控自身的推理过程，从而阻止OpenAI看到其未经掩饰的真实想法。一些最新模型甚至根本不会用语言表达其推理过程。这一发展可能会让AI发展陷入瓶颈，因为研究人员需要确保能够看到模型的“推理记录”。