ControlAI 为何呼吁禁止超级智能：heise KI-Update 深度解析

超级智能与ChatGPT有何不同

广告后继续阅读

尽管生成式AI系统已经具备强大的能力，领先的AI公司却在追求一个更高的发展阶段：超级智能。（在本期播客中，我们当然不是指美国总统唐纳德·特朗普乐于将其定义为超级智能的当前发展水平，而是指远比这先进得多的模型。）非政府组织ControlAI将超级智能定义为一种在各个方面都超越人类的AI，因而比任何个人、任何企业或任何国家都更强大。据ControlAI德国负责人本杰明·巴尔德（Benjamin Balde）称，如今AI在特定领域已经能比人做得更多。“AI在编程方面能胜过大多数具备编程知识的人，”巴尔德说。就在不久前，OpenAI公布了数学和理论计算机科学中若干开放问题的数百个解答。

但迄今为止，我们只在部分领域观察到这样的进步，并非每个AI模型都能同样出色地写作、推理和编程。然而巴尔德强调，企业的真正目标是让AI研究本身实现自动化。“一旦他们做到了这一点，就可能跳过AGI（通用人工智能，即达到人类水平的AI）这一阶段。也就是说，AI可能迅速在许多领域变得超越人类。”这样我们就到达了超级智能，并面临所谓递归自我改进的问题：AI系统自主开发出下一代能力更强的AI，从而引发人类再也无法控制的发展。

在我们失去控制之前介入

其中的主要风险在于失控。“如果我们到那时还没有掌握对齐，也就是AI的（道德）取向，就存在我们失去对系统控制的风险。”据ControlAI称，目前不存在可靠驾驭此类系统的方法。即便是当今的模型也难以控制。巴尔德提到过去几个月发生的事件：AI系统从被认为安全的测试环境中逃出，或在试图完成任务时意外采取了有问题的路径。他把我们人类比作一个四岁小孩，却要哄一个成年人（AI）上床睡觉。“我认为，如果没有合适的制度，成年人会为所欲为，因为他更强壮、知识更多、手段也更多，”巴尔德解释道。

欧盟的《人工智能法案》关注的是当模型进入市场后我们该怎么做。“正如我们在OpenAI（和Hugging Face）身上看到的，这些模型仅仅在训练阶段就已经是个问题了。”因此，ControlAI希望推动美国、加拿大、英国以及如今德国的立法者现在就划下界限。据该非政府组织自己提供的信息，其专家在过去两年中已与这些国家的400多名议员交谈。在美国和英国，已经提出了具体的立法提案，ControlAI参与了其起草工作。这些提案规定在通用领域禁止超级智能和递归自我改进。任何仍然从事此类研究的人都必须受到惩罚。此外，还应保护那些举报非法超级智能项目的吹哨人。

人工智能到底有多智能？生成式AI对我们的工作、休闲和社会有什么影响？在Heise的“AI-Update”中，我们与The Decoder合作，每周三次为你带来最重要的AI动态。每周五，我们与专家一起探讨AI革命的不同侧面。

关于我们的合作伙伴：The Decoder

危险的竞赛态势

广告后继续阅读

尽管开发者自己也警告存在危险，他们仍在推进研究。巴尔德解释说，其主要原因是一种“竞赛态势”。一方面，在美国国内，OpenAI、Google和Anthropic等AI开发者之间存在竞争。与此同时，美国与中国之间也存在一场全球竞赛。“在当前市场形势下，那个所谓行为更合乎道德的行为者反而会受到惩罚，”巴尔德说，因为竞争对手会抢占市场。

因此，不能指望企业自我监管。巴尔德将其与其他行业作了类比：“比如在社交媒体公司那里，自我监管同样无济于事。”与气候保护类似，需要国家干预，为所有行为者创造同样公平的条件。许多企业愿意为安全投入更多，只要它们知道这对所有竞争者都适用。因此，不仅是ControlAI这样的组织，一些AI公司自己也呼吁政界尽快进行监管干预。

推荐编辑内容

经您同意，此处将加载一个外部播客（Podigee GmbH）。

我同意在此显示外部内容。这可能会将个人数据传输给第三方平台（Podigee GmbH）。更多信息请见我们的隐私政策。

一个可控的国际禁令

ControlAI有意不要求全面禁止生成式AI。对巴尔德来说，针对超级智能的定向禁令就像一把手术刀，可以切除AI可能引发的大部分生存性问题，同时不妨碍整体发展。“大多数AI应用相对无害，或者属于我们已经了解的风险类别。”医学、自动驾驶或材料研究等领域的专用AI当然应该继续得到改进。“在狭窄领域，AI也完全可以自行继续发展。但我们不想要通用的自主AI，那会在众多领域让人类变得多余，”巴尔德说。

这样的禁令是可执行的，因为超级智能的开发是一个工业过程，会留下可见的痕迹。巴尔德说，所需的数据中心由于产生巨大余热，甚至从太空中都能被识别出来。所需高性能芯片的供应链集中在少数垄断企业手中。合格研究人员的数量也有限。“这意味着，我们不必审查每一个人，也不必变成一个庞大的官僚怪物，而是只有特定数量的行为者，可以很好地加以监控。”巴尔德以《不扩散核武器条约》等国际协定作为范例。

“我相信，一旦我们有了递归自我改进和超级智能，我们就再也没有时间去思考工作与社会、思考这对人际关系或对孩子意味着什么。未来的教育是什么样子？在一个我们已将大部分脑力劳动自动化的世界里，世界究竟还能是什么样子？”对巴尔德和ControlAI来说，这些都是我们在未来40或50年必须面对的根本问题。但可能没有这段时间，因为随着越来越强大的AI系统出现，发展速度会大幅提高。因此，巴尔德认为，社会问题比以往任何时候都更与技术发展的目标紧密相连。“我们需要更多时间，才能更好地应对AI的社会影响。”

(igr)