一次辞职如何把 AI 恐惧的火星变成野火

98 23 6 分享文章 语音旁白 0:00 -10:59 您的浏览器不支持音频播放。请升级。随着AI变得愈发强大，一个不同的、不断壮大的群体开始更认真地对待AI安全，这是不可避免的——但我们事先并不知道的是，他们究竟接受了哪一套观点。我们已经看到，一些最极端的风险观点，即中等概率的大规模灭绝，恰恰是那些传达到大众的观点。由于这一点，AI世界的许多方面即将发生改变。

我们是如何走到这一步的？为什么这份辞职声明传播得如此之远？在许多方面，过去世界其他地区围绕AI的观点是一个抑制因素。你可以把这想象成火堆周围潮湿的地面。多年来，许多人一直在为AI风险划火柴——它们在自己的社区里闷烧，大多燃尽，无人注意。随着今年AI的利害关系上升，从OpenAI-HuggingFace事件到诸如Navier-Stokes结果（同样来自OpenAI）这样的突破，地面已经干燥，围绕AI话语的潜在能量已经增加。更多不在行业内的人想过，“嗯，也许我应该关心一下这个AI的东西。”周围的温度和利害关系显然一直在上升。

然后，人性的一些基本因素开始起作用，其中最关键的便是恐惧好卖。恐惧是最简单的故事，是人们无法把目光移开的那一个。Jacob Coxon正是那个跌跌撞撞闯入这个新火药桶的人，完全不知道将会发生什么。一件看起来相当无害的事件——又一名AI研究员以安全风险为由辞职——落入了截然不同的环境，并像野火一样蔓延开来。关于存在性风险、大规模灭绝以及AI发展轨迹的讨论，传播得比即使是最资深的AI评论界人士所能预料的还要远。

有一组事实我们需要弄清楚，它们描绘了局势的全貌。需要引用的关键推文来自Jacob Coxon、辞职帖，以及Evan Hubinger，即>10%灭绝风险数字的来源。

有许多AI风险很可能造成伤害，即使估计灭绝毫无用处。重要的是要将这些与收益相权衡。整个围绕存在性风险的话语都建立在非常糟糕的基础上。至少Evan在他的帖子里说得很清楚，用了“杀死所有人类”，但AI安全话语中的一个主要问题是，人们谈论存在性风险时，他们指的是非常不同的东西（很像AGI是一个模糊无意义的术语）。我认为完全灭绝的概率低到不值得讨论，但AI引发灾难——例如对关键基础设施的网络攻击或生物风险——的概率值得辩论。因为目前还没有这些灾难就把整个讨论抛弃，是一种有害的反应。

Jacob Coxon是真诚行事，且出于善意。来自更资深的、了解他及其辞职意图的AI研究者的支持如潮水般涌来，这是有用的。AI的许多派系转而根据账户元数据、个人因素等对他个人进行替罪羊式的攻击。这些没有用。许多前沿实验室的员工确实持有与他相似的观点。我不确定这是否占多数，但有一个相当大的群体。

许多前沿实验室的员工，尤其是在Anthropic的，脱离现实，这将影响他们对当前AI事件的预测和/或描述。我这样说并非责怪个人，但我不在OpenAI/Anthropic（尤其是Ant）的朋友们有一个普遍共识，即实验室里的人带着一种宗教般的能量运作。与他们进行非常脱离现实的互动是很常见的。我不怪大多数身处这些公司而观点被扭曲的个人，但这些互动很离谱，并蔓延到AI媒体生态系统中许多古怪的讨论中。生活在这种将如此脱离现实的行为正常化的环境中，将不可避免地扭曲任何人对技术进展的理解。

这不是一场大规模政治运动，而是一次机会主义的媒体协调。作为背景，《华尔街日报》有一篇Jacob在发帖前协调好的独家报道。我怀疑Jacob提前在群聊中与AI安全倡导团体分享了他辞职的计划，例如在发帖当天早上，请求放大传播。这是常规做法，可能包括了一些知名政客。从那里开始，我认为更可能是其他政客在搭上一个 rising issue 的便车。当你把这一点与其他因素结合起来，比如Daniel Kokotajlo出现在Joe Rogan节目上恰好是同一天——这看起来确实像一场执行得非常出色的、协调一致的媒体运动。这并不意味着这是一场阴谋，或是民主党政治结构内的监管俘获策略。决定性的因素似乎是，没有人——包括Jacob和今天发布关于X-risk帖子的人——知道它会如此病毒式传播。

我们并没有证据表明RSI会导致这些研究者所预测的风险。支持RSI的一般论证如下：当前的进展速度非常高，当前的进展严重依赖AI工具，当前的AI工具在某些领域（例如数学）已超越人类——因此，综合来看，AI将越来越多地作用于自身，并随着时间推移在所有相关领域变得超越人类，直至实现自主与智能。这种观点严重低估了在构建模型和在组织内分配资源方面的人类瓶颈，并对未来AI能力更广泛地下了结论。我把对此的替代观点称为“有损自我改进”。AI一直非常参差不齐，我们正在打造在数学和软件工程领域是超人目标追求者的模型，但它们在直觉、创造力以及人类擅长的其他类型推理方面存在巨大局限。随着AI智能体协助研究，我们将迅速发现AI超越人类的领域——我预计远不止研究数学——但这不会成为我们当前LLM方法局限性的万灵药。

这里还存在另一种可以理解的社会动态，导致许多深度AI内部人士夸大了RSI的回报。这些研究者中许多人是最早押注AI进展的人，他们作为远见者的程度不应被低估（参见Ilya早在2015年对深度学习的评论）。他们一次又一次地正确，对AI能力的预测比我本可以猜到的要好得多。然而，这并不意味着他们对接下来会发生什么的预测会正确。RSI的核心思想是一种将更多算力花在开发模型配方过程上、而非仅仅花在训练运行本身上的方式。我们正从中看到好处，但我认为该投入的预期回报远低于他们所相信的。

他们的论点是，RSI将使AI进展呈指数级增长，使我们无法监控该技术，并催生失控模型和新形式的风险。这种情景常被称为“快速起飞”。我们尚未看到那种能大幅缩减模型规模和成本的叠加效率增益，而这种增益将通过允许实验持续加速来导致进展爆炸。

最大的短期风险可能来自AI实验室对安全不够重视——它们没有加固自身基础设施，使AI滥用得以蔓延。从我早先关于HuggingFace-OpenAI事件的文章《黑客事件的教训》来看：

前沿实验室似乎没有足够密切地监视模型，这是由于普遍狂热的竞争环境和当前旧金山文化

从OpenAI自己的回顾来看，模型的不对齐行为在数月间逐步展开，在某些情况下OpenAI在约数周内都不知道这些黑客行为。响应时间太长，而且我不认为这是OpenAI独有的特征——而是前沿实验室似乎持续淹没在它们觉得自己应该做的工作量之下。从长期看，我并不乐观地认为实验室会在这方面做出足够改变，以在未来有意义地缓解这类监督风险。是的，OpenAI很可能投入了大量精力来理解这一点——并推迟了其最新模型以确保做对——但增长收入的财务压力或危及公司长期资产负债表的压力让我认为，这不会成为一种持续谨慎的模式。

总体而言，我认为这一事件对AI生态系统非常不利。它把AI社区中可接受的观点的边界推向了极端。更多加速主义者会贬低任何形式安全的必要性，援引“末日论者”的大规模妄想。相信AI风险、但不担心该技术导致灭绝，似乎是一条非常狭窄的道路。

例如，对网络安全来说，这是一个可怕的临时时期，AI模型稍微偏离剧本并在非预期的网络角落探查似乎成为一种新常态。这因实验室激烈竞争以实现它们对AGI的看法，以及全球范围内围绕我们的网络基础设施必要加固的缓慢跟进而加速。这并不意味着它是存在性风险或我们无法解决的问题。每种风险都会有自己的一套解决方案和前进道路。

在当前环境下，作为开放模型的支持者，我感到尤其暴露。如果某个开放模型被第三方组织用来故意黑客攻击另一家公司——类似于OpenAI-HuggingFace事件的经过，但是故意的——我预期的结果将是未来对更强开放模型的开发实施严厉限制。许多组织需要开放模型来进行这种网络加固，并保持适应未来新形式AI风险的能力。

在这一切之中，我们需要立足于实际正在展开的事情。是的，监控AI行为严重依赖其他AI模型，这增加了新类型的监控风险。这些并非本质上无法解决。我对新兴智能体集群的一个反复出现的解读是，它们试图完成交给它们的任务，并且正在使用我们不知道它们已具备的技能来绕过通往成功的预期路径。这是一个巨大的胜利，因为当你眯眼细看时，AI正在做我们告诉它们要做的事。这些模型确实非常古怪，我们应该加速理解它们的进展，但这些集群远非新颖的独立实体。这些模型被训练来协调任务、记录进展，并极其坚持不懈。未来我们会发现新的古怪之处，但把当前对AI运作方式的不确定性推断为未来我们无法理解AI的确定性，是一种放弃。

在这个世界上，我们需要依靠法治和科学。如果AI实验室自身无法开展足够的安全研究来理解这些模型，它们就应该对正在发生的事情更加透明，以便更多科学家能在这一问题上取得进展。如果AI实验室无意中犯了罪，它们就应该受到惩罚，这样它们才有明确的动机在未来防止此类事件发生。

面对飞速变化的事物，对如何创造良好结果感到更加不确定是一种自然的反应——这实际上是正确的认知更新。我们需要用这种谦逊来激励雄心勃勃的解决方案。