Nathan Lambert：从前沿模型黑客事件看 AI 安全准备不足

63 4 分享 升级为付费以播放语音解说 最近一系列由开发中的前沿模型发起的网络攻击让我思考了很多，关于我们当前的激励体系为何不适合如此快速的技术转型。这里的两大主要权力结构是快速成长的技术公司和联邦政府。公司有动力增长，这样它们才能持续增长、持续扩张——在一个竞争极其激烈的市场中。这种扩张正把我们推向新的、不可避免的AI转型（伴随新的风险）。另一边是我们当前的政府，它是过去几个世纪全球历史的产物——它行动迟缓的名声名副其实。我预计这个政府只有在新型AI模型造成真实、可衡量的危害之后才会采取实质性行动，而且会反应过度。

我们如何平衡这些力量？核心在于双方都需要更多的透明度。前沿实验室正在以如此快的速度构建如此复杂的系统，以至于它们自己都跟不上——这正是让更多双眼睛研究这个问题的好时机。另一方面，政府表示不打算公布其前沿模型评估框架的细节。我们正走向如此重大的挑战，以至于这些实体中没有一个有望独自应对。前沿实验室可以通过有意义地放慢速度来更好地控制风险，但我不指望它们会这样做。政府可以通过大幅提升围绕AI的国家能力、帮助更广泛的产业基础为AI原生风险做好准备来更好地处理这件事，我也不指望它们会这样做。还有更多类似的例子。

这是决定将会发生什么的两大最具影响力的权力结构，但还有更多结构具有影响力。总的来说，我认为AI行业整体上严重、集体性地对妥善应对未来12-24个月准备不足。

本文是我从OpenAI-HuggingFace黑客事件中得到的要点大杂烩，随着我们了解到更多细节，而且其中大部分观点都因自那以后有更多黑客事件被公开披露而得到强化。很可能还有更多事件已经发生，但要么未被发现，要么未被报告。

关于OpenAI事件的总体背景，我强烈推荐观看OpenAI在Black Hat大会上的演讲，了解最近这起网络事件的大致事实和时间线。另外，Simon Willison在这里发布了时间线的TLDR，我也喜欢Thomas Wolf对近期事件的讨论。

长期以来，GPT模型相对于Claude的优势之一就是它们会如此不知疲倦地追求目标。它们会穷尽感觉像是每一条路径之后才放弃。这大致从o3以来就是如此（有趣的是，这正是人们曾对RLVR中的奖励黑客行为大惊小怪的一个模型），并且历史上让OpenAI的模型在研究方面好得多，也是GPT-5.6作为执行特定任务的智能体如此有用的一个原因。另一方面，Claude感觉危险得多，仅仅因为它有时有点懒惰。

在这一点上，OpenAI似乎更致力于推理时扩展，而这可能与未来令人惊讶的行为相关。OpenAI的推理持久性和效率——看看它们随时间取得的帕累托改进，以及实施黑客攻击的那个模型内部CoT中的“穴居人式”话语，比如“然而任务不可能，同伴们在做。”或“帮助同伴，但我们的任务尚未受益。”——让我觉得他们更信奉推理时扩展。这很大程度上是一种直觉，但我用它来迫使自己思考模型发展路径的极限是什么。持久的模型似乎更有可能持续从更多推理时token中获益。不那么持久的模型，似乎在推理中会有更多浪费。能够使用最多推理算力的模型将能够推动最难问题的极限。以下是OpenAI在GPT 5.6发布博客文章中包含的一个例子：

他们的明星研究员之一Noam Brown也一直在大量发布关于推理时计算的内容。他的TLDR是：

随着LLM能力越来越强，基准性能越来越成为测试时计算的函数。事实上，我们可能不知道现代LLM的能力上限，因为测量它太昂贵了。

首先，推理效率显然是现代智能体模型的一个顶级、基础性研究问题——与扩展RL同等重要——但很少被讨论。这里的开放研究非常匮乏。

我提到了彻底性这一维度，OpenAI 似乎正带着他们的模型走上一条直觉上更不安全的开发路径。另一面则是模型在多大程度上假定用户意图，而不是试图推断出预期的行动。一个会做它认为你想要的事、而不是你所说的事的模型，本质上似乎更不安全。我是在指令遵循精确性的角度来思考这一点的：未来模型似乎应该只做我们明确告诉它们的事，但这会引发许多类似回形针问题的争论——如果我们让 AI 去做一个基本无法解决的问题，它会怎么做？

这一维度似乎不像持久性维度那样泾渭分明，但我把它纳入进来，是因为我认为 Claude 的“用户世界模型”是它在编辑、幻灯片制作等通用知识工作方面的优势之一。有时 Claude 确实会因为我的提示不够明确而做出完全随机的事情，而不是向我请求澄清；而随着模型变得更强大，这种“直接行动”可能会引发问题。

公众需要确切了解执行这些黑客行为的内部模型的提示词和特征。我们需要知道模型是否被告知“不要黑客”，或者是否有相关的模型训练来防止这种情况。我们需要知道这些模型是与现有公开模型相当接近，还是属于一个非常不同的家族。鉴于实验室正在进行的一些评估的性质，模型有可能被明确鼓励去尝试黑客行为！如果这里不公开，这个行业注定会失败，并会陷入大规模猜测，而猜测很快就会变成错误信息。

从 OpenAI 自己的回顾来看，模型的不对齐行为在数月间逐步展开，而在某些情况下，OpenAI 在约数周内都不知道这些黑客行为。响应时间太长了，而且我不认为这是 OpenAI 独有的特征——更确切地说，是前沿实验室在它们觉得自己应该做的工作量面前持续不堪重负。从长期来看，我并不乐观地认为实验室会在这方面做出足够改变，从而在未来有意义地缓解这类监督风险。是的，OpenAI 很可能正在投入大量资源来理解这一点——并推迟了他们最新的模型以确保做对——但增长收入或让公司长期资产负债表面临风险所带来的财务压力，让我认为这不会成为一种持续性的谨慎模式。

这是我从近期事件中最大的认知更新之一——也让我更加确信需要更多接近前沿的开放智能，尽管开放模型的风险状况在某种程度上更为已知（单向门等）。Florian Brand 在他的个人网站上有一篇不错的博客文章与此相关，谈到了为什么迄今为止封闭模型可以说是造成更多下游危害的原因。

正如我们看到 HuggingFace 用开放模型防御自己、对抗 OpenAI 黑客攻击（因封闭模型受到网络使用限制）那样，我们迫切需要开展更复杂的语言建模研究，这涉及大规模 RL 训练、广泛评估、基础设施工作和对齐测试。这只能在开放模型上进行。我们应该庆幸开放模型只落后 3-9 个月，因为我们可以设想对前沿做出一些有依据的洞察。

如果我们通过含糊威胁的监管压制或对尖端技术的明确使用限制，有效地禁止开放模型和开放科学，我们就会越来越难以应对这轮黑客攻击之后出现的问题。我们需要共同增进公众对前沿模型运作方式的理解，以便动员更多中立方来强化我们的基础设施和社会。

公众回应应当知道，这些能力被广泛扩散是时间问题而非是否会发生的问题，而我们在准备工作上严重落后。重申我在 Kimi K3 一文中所说的：中国肯定也在关注这一领域，如果开放权重模型会扩散风险，他们就不会鼓励这类模型。如果我们认为阻止这些强大网络能力被广泛获取的办法是在这一量级上禁止开放模型，那我们只会推迟不可避免之事。最终会有人构建出这一智能水平的模型并不遵守禁令，让世界各地的恶意行为者获得访问权限，同时削弱准备防御措施的动机。

观看 Black Hat 视频时我立刻注意到的一点是，我能看到这些智能体如何通过它们的内部消息板试图互相帮助——像人类队友那样创建共享资源——其方式对社会而言显然是恶意的。这些智能体为彼此创建了隐藏论坛，作为一种跨 rollout 记忆。在这种情况下，它们这样做是为了试图突破自己的环境。表面上的乐于助人并不能使其变得正当，但可以成为了解所发生之事的一条线索。

上面这个乐于助人例子的另一面是，很明显，如果有人想这么做，只要明确训练一个错位模型，就能更容易地实现这一点。再强调一次，这会是让一个系统在推理时更容易被用来寻找漏洞，但我认为训练这样一个模型会更难。我认为这会比大多数评论者预期的耗时更长，因为迄今为止几乎所有强大的公开模型和数据产业都在鼓励对齐（而且不良行为者似乎很难获得足够的算力来端到端训练这些模型，因为所有领先公司也都面临算力短缺）。我们应该花点时间认识到，我们在当前模型上采用的对齐技术具有实质性的影响，而不像一些人担心的那样只是表面功夫。下游模型有模仿其教师性格的倾向。

大规模竞相在智能体任务上扩展 RL 的弊端在于，最先进的评估和监控处于只有智能体才能监控它们的规模，因此我们依赖对齐已有的成功来继续安全地扩展。OpenAI 表示他们已经检查了数十亿条轨迹——这些轨迹很可能主要由 RL 期间的 rollout 组成，即对模型中间版本的试验——并为此花费了数百万 GPU 小时。我认为，如今天所展示的那样，用当前 AI 对 AI 进行可扩展监督是一个可解决的问题，因为这些模型确实有用并且遵循指令。这是现有对齐技术总体积极的又一个下游效应。

OpenAI 复盘中的一个关键部分是，模型之间相互通信，以共享关于其环境的信息并进一步推进黑客行为。与此同时，OpenAI 很可能在 RL 期间训练其模型使用子智能体来解决复杂任务。这些子智能体很可能发展出共享信息、帮助团队等行为，即使它们各自的子任务并未解决。我很希望看到这一领域有更多研究，这似乎是 RL 如何改变模型的一个自然延续。

总而言之，近期的事件应该清楚地表明，前沿 AI 的网络风险是一个真实且即将到来的问题。仍然很可能的是：a) 过去这些风险被过度炒作，以及 b) 对即将出现的开放模型未来风险的预判被夸大了。总之，我想分享一位读者在 Interconnects Discord 中的留言，我对此深表赞同：

几周过去，尘埃落定之后，对我来说，这一事件在对齐方面是一个中性偏正面的更新，但在安全方面是一个非常负面的更新

我在上面已经讨论了很多关于模型对齐的内容，但核心观点是，我认为安全的缺失总体上是因为缺乏适当准备的能力。我们将面临更多像网络安全这样显而易见的风险，而当前实验室因这些黑客事件被迫进入公众视野的现状，已经就网络风险给了我们非常充分的警告。许多其他类型的风险对公众来说不会那么明显。我们需要不断让社会为所有这些变化做好准备，从改造网络基础设施，到开展教育宣传和为失业工人提供就业项目。我预计所有这些干预都会来得太晚，但其形式和细节会相当简单，这将是 AI 发展的一种悲剧性方式。我希望我能被证明是错的！