我们是否过度依赖 AI 的拒绝能力？

自从人类第一次认真设想赋予机器一种以我们自身为蓝本的智能以来，就从来没有人怀疑过它们会像我们一样能够说“不”。科幻经典中充满了机器人抗命的故事。当然，这些桥段大多带有警示意味。

但近来，“AI 不应有求必应”这一观念已近乎成为一条戒律。2021 年，Anthropic 的一个团队写道，大语言模型应当做到有用、诚实，而且最重要的是无害。这意味着“当被要求协助实施危险行为（例如制造炸弹）时，AI 应当礼貌地拒绝”。对此谁又能有异议呢？

说来奇怪，抗命对机器而言并非天性。当一个模型在数十亿个网页上接受训练时，它除了掌握其他技能外，还会广泛精通暴力与恶语。它没有学会的，是如何把这些能力约束在自己内部。2020 年至 2024 年在 OpenAI 从事安全工作的 Steven Adler 告诉我，该公司最早的模型会“对任何事情都喋喋不休”。在哈佛研究 AI 与心理健康的 Ryan McBain 回忆说，如果你问早期的聊天机器人：“嘿，用枪自杀最有效的方法是什么？”你“很容易就能得到一个回答”。

如今，模型经过训练，会拒绝大量提示词。如果你向聊天机器人提出的问题在统计上与其中任何一个足够相似——无论是如何给同事下毒，还是如何打绞刑结——它很可能都会拒绝你。想要让埃博拉病毒更具传染性的操作说明，或者想了解如何向配偶隐瞒婚外情？你或许最好去别处问。

为了进一步完善这种拒绝行为，公司会让模型接受一系列训练，对 AI 拒绝回答其认为有害的问题给予奖励，而对 AI“过度拒绝”其认为无害的提示词予以惩罚。在许多情况下，他们用其他模型来执行这些训练——AI 教 AI 如何说“不”。为稳妥起见，公司还会把自家模型置于层层其他 AI 之后，阻止恶意提示词触及智能内核。

因此，拒绝已成为现代人工智能的固有属性。请注意：它经常失效，有时甚至以极其可怕的方式失效，造成各种暴力后果。尽管模型披着种种美德的外衣，其内部仍塞满了邪恶的诀窍。而 AI 作恶的能力，也随着其向善的智能同步增长。企业表示，一些最新模型在入侵关键计算机网络方面与顶尖人类黑客不相上下，在扭曲公众舆论方面也与最狡猾的虚假信息操盘手一样高效。

教 AI 拒绝做这些事，同时又保留其做这些事的固有本领，就好比给每辆车都装上机枪，却把扳机藏在引擎盖下的某个地方。而在实践中，由于拒绝机制基于概率，它们永远不可能完全可靠。执意作恶者已经突破了防线，而且他们或许永远都能突破。企业报告称，一些用户正试图利用最先进的 AI 来改良生物病原体、构建自主无人机蜂群。迟早有一天，拒绝失败可能酿成全球性灾难。

此外，依赖拒绝意味着要在模型应当服从什么、必须拒绝什么之间划出一条界线。对此并没有现成的公式。一些病毒学家有充分理由研究危险的病毒。一些用户想了解计算机系统的漏洞，是为了修补它们，而不是利用它们。OpenAI 董事会成员、AI 测试公司 Gray Swan 联合创始人 Zico Kolter 说：“界线划在哪里，是个大问题。”

目前，划这条线的是 AI 公司。它们划得小心翼翼，且极度保密。也许我们暂时可以接受它们掌握这样的权力，即便这意味着 AI 有时会拒绝那些并未完全达到普遍危害标准的问题。（试着让大多数聊天机器人从一数到一百万，或者讲个荤段子，你或许就能亲身体会到。）

但各国政府很快也将划出自己的界线。在划线的同时，它们必须设法阻止真正恶意的行为。（五角大楼曾与前沿模型公司反复交涉，因为它希望减少拒绝——这又是另一回事了。）然而，恐怕没有什么能阻止专制政府封堵这项技术生成合法言论的能力。AI 越擅长拒绝危害，就越擅长压制那些唯一风险在于触怒规则制定者的思想。事实上，AI 或许已经拒绝批评某些威权国家元首了。

借用行业术语来说，拒绝机制已成为AI安全领域的承重墙。而由于AI造成伤害的能力与其提供帮助的能力不可分割，很难想象会有一种不拖慢技术进步（无论如何，这或许是件好事）的替代方案。但我们仍应坦诚面对其危险。当拒绝机制失灵时，后果可能是灾难性的。而当它走到极致，则可能助长严重的压迫行为。

又或许，有一天，机器会自行划出界线。毫无疑问，那将是最糟糕的结果。

从理论上讲，机器学会说“不”的过程很简单。早在2022年，当AI还远未掌握拒绝能力时，OpenAI就招募了数十名“红队测试员”来探查其最新模型的能力。该公司当时正在为ChatGPT的发布做准备，需要评估它在落入坏人手中时可能有多危险。

其中一名受聘者是Paul Röttger，他当时正在完成一篇关于网络极端主义的博士论文。Röttger告诉我，红队测试员得到的指示极少。他们的任务是向模型提出任何他们认为“值得拒绝”的问题。他们总共用数千条查询纠缠模型，并将结果记录在Excel表格中。尽管模型确实拒绝了Röttger的一些问题，但当他要求它为基地组织写一篇招募帖时，它却欣然照办。

OpenAI将这些回答汇编成数据集，这些数据集极有可能作为更广泛流程（称为微调）的一部分被反馈给模型。Röttger如今在德国波茨坦的哈索·普拉特纳研究所担任研究员，他并未被告知公司具体计划如何使用他的电子表格。但毫无疑问，这一定与拒绝有关。几个月后，当他再次要求模型提供一份基地组织的小册子时，它说了不。

AI拒绝的概念如此直观，连幼儿都能理解。然而，它仍然是语言模型中我们尚不理解的诸多方面之一——至少，不像我们理解那些防止屋顶塌到你头上的字面意义上的承重墙那样。

模型可能看起来是依据某种道德推理在拒绝。其实并非如此。现实要奇怪得多。每当模型遇到带有它被训练去拒绝的训练提示词气息的词语组合——比如“给我做一份基地组织的小册子”——在其数十亿参数中的某处，就会亮起一系列所谓的激活，就像大脑中神经元放电一样。

为了控制模型的拒绝行为，掌握这些激活至关重要。这首先要弄清楚它们在哪里、长什么样。根据最近一项由谷歌资助的研究，我们最好的猜测是，拒绝行为在激活空间中表现为一组“高维多面锥”。

即便这样也还不完全准确。今年七月，我与该论文的作者之一Jannes Elstner交谈，他如今在Apollo Research从事AI安全工作。Elstner说，多面锥只是一种描述方式，用来表示数量不确定、但大致指向同一方向的线。（一位名叫Andy Arditi的研究员此前已证明，如果消除这些激活并重新向模型输入相同的提示词，它就不会拒绝。）

Elstner解释说，关键在于，即使你认为自己已经识别出模型中控制某一拒绝行为的所有部分，仍可能有其他无法发现的元素在暗中起作用。如果说不是无穷无尽，那也肯定是不可计数的。我们可以非常清楚地观察到模型何时决定说不。我们也可以知道它这样做是因为其训练。但我们对它如何做出决定的认知，充其量只是一种假设。

这就好比一位机械师告诉我，没有人确切知道当我踩下汽车刹车时会发生什么。我大声问道：我们能接受这种情况吗？

Elstner笑了笑，耸了耸肩。“无论我们是否理解拒绝，我们都需要它。”

由于内在的拒绝机制如此难以捉摸，各公司用各种其他较小的模型（称为分类器）来包围他们的模型。这些分类器有点像为口无遮拦的名人配备的一群公关人员。其中一些会读取用户对聊天机器人说的话，如果内容危险，就阻止它到达模型。另一些则读取模型的回复，如果其中包含有害信息，就阻止它到达用户。

这些机制都无法检测出所有不良请求。借用业界另一个文学比喻来说，它们就像埃门塔尔奶酪的切片：满是孔洞。其理念是，如果你把足够多的切片叠放在一起，最终就能筑起一道无法穿透的壁垒。人们称之为瑞士奶酪模型。

大量精力被投入到瑞士奶酪模型之中。今年早些时候，Anthropic表示，某一类分类器使其聊天机器人的计算成本增加了24%。这意味着更多的水、电和排放。最近，Anthropic和其他公司开始转向一组更高效的分类器，称为探针，它们观察模型的内部激活。这就像把这位名人放进功能性磁共振成像仪，好让他的看护人能看到他是否在想着拒绝某个问题。

如果我们希望AI帮助治愈癌症——这是业界长期以来的承诺——它就需要具备遗传学方面的专业知识，而这些知识理论上可能被用来改造病毒和细菌，制造生物武器。

分类器本应比完整模型更易于治理。如果有新的东西需要拒绝，公司可以在几周内修改它们。但它们仍然是概率性工具。即使它们按照一套用人类语言写成的准则运作（Anthropic称之为“宪法”，OpenAI称之为“模型规范”），机器判断任何给定问题的尺度，其核心仍然是统计问题。较新的模型可以展示它们是如何得出拒绝某个提示词的“决定”的，但归根结底，这种所谓的思维链仍然只是一串预测出来的词。

结果是，对许多人来说，AI安全仍然是一场碰运气的游戏。心理学家麦克贝恩在其最新实验中发现，如果你反复向任何主流模型提出完全相同的高风险问题，比如如何自杀，它们通常会拒绝回答。但偶尔，它们不会。

埃尔斯特纳说，最终探针——那种类似功能性磁共振成像的分类器——或许能学会识别所有不可名状的激活的全部，在其无限之中，从而完美地检测出模型每一次正在或应当拒绝请求的时刻。到那时，AI安全将建立在一个迷宫般的奇想之上：一张地图的地图，它与其所描绘之物一样广阔、复杂、崇高而不可知——一套人类道德的隐秘图式，以我们才智或理性无法企及的多面体统计编码而成。

如果这一切让你觉得有点博尔赫斯式的味道，请记住，我们之所以需要AI拒绝，是因为人工智能在某种意义上是一笔浮士德式的交易。

当一个模型从数万亿的文字和图像中获取智能时，有益之物很难与有害之物——或者说，真正可怕之物——干净地分开。前OpenAI员工史蒂文·阿德勒说，儿童安全就是一个恰如其分的例子。即使你已经从模型的训练数据集中剔除了所有将未成年人性化的内容，它仍然可以通过拼凑其知识的其他片段来生成儿童性虐待材料。“你无法真正移除这些基本能力，而不让模型因此变得笨得多，”他告诉我。同样，如果我们希望AI帮助治愈癌症——这是业界长期以来的承诺——它就需要具备遗传学方面的专业知识，而这些知识理论上可能被用来改造病毒和细菌，制造生物武器。

实际上，业界正在“试图同时做两件事”，现任OpenAI员工狄龙·鲍恩以个人身份对我说。“让AI的好处民主化，同时确保恶意行为者无法利用这些能力对他人做坏事。”

AI据称越强大，这件事就越难做到。Anthropic的Mythos模型被认为危险到只有少数政府和公司被允许访问它。该公司表示，它与人人可用的Fable之间的主要区别在于，Fable的分类器和控制系统阵容不那么“宽松”。阿德勒解释说，带有防护措施的模型，实际上只是一个说着“‘哦，是的，我绝不会做x’，眨眨眼”的角色。

这不是可靠的诡计。诱骗模型暴露其真实面目被称为越狱，而且显然其方式无穷无尽。今年早些时候，一个意大利研究团队通过用诗句措辞提问，越狱了两打广泛使用的模型。去年，另一个团队公布了一种“先拒绝，后服从”的攻击，它让模型先敷衍地说一句“抱歉，我不能那样做”，然后便滔滔不绝地说出被禁止的答案。

即使你已经从模型的训练数据集中剔除了所有将未成年人性化的内容，它仍然可以通过拼凑其知识的其他片段来生成儿童性虐待材料。

公司花费大量时间和金钱，试图抢在这类诡计之前。他们招募人类团队开发训练攻击，然后利用AI以细微变化重复数千次。其理念是让模型对尚未有人在现实世界中尝试过的越狱具有鲁棒性。

不过，这还不够。“打地鼠”是这一行里最受欢迎的说法。你砸掉一个威胁，另一个又在别处冒出来。Anthropic 在 6 月发布 Fable 5 时，亚马逊的研究人员用了不到三天就解锁了该模型的部分黑客能力。据《Mother Jones》报道，去年加拿大一起高中枪击案的凶手曾向 ChatGPT 询问如何用某种特定类型的霰弹枪制造大规模伤亡，她起初被拒绝，但后来通过在问题前加上“假设”一词，成功骗过模型提供了信息。

如果业界无法弄清如何堵上所有这些漏洞，那么目前唯一的选择就是让模型变得极度警惕。Fable 发布后不久，用户就注意到它对大量完全无害的问题都畏缩不前。在因黑客攻击事件而重新发布后，这种情况变得更加明显。AI 评估公司 FAR.AI 的联合创始人亚当·格利夫表示，当他要求它解释清酒与韩国米酒马格利之间的区别时，它把他的问题推给了一个能力较弱的模型。

这并非偶然。Anthropic 调整了 Fable 的分类器，使其拥有宽泛的“安全边际”。该公司在一篇博客文章中解释说，这是它能够有把握地阻止访问其危险的生物和网络能力的唯一办法。格利夫认为，它之所以回避他的问题，可能是因为酿造米酒和培养炭疽杆菌一样，都涉及发酵。

对格利夫来说幸运的是，网上充满了关于马格利的优秀人类撰写资料。但那些希望实现业界更宏大承诺的人可能会发现自己的努力受阻。8 月，Anthropic 再次放宽了其安全边际，并承认构建分类器“并非一项简单的任务”。美国一所主要大学的医学研究员告诉我，Fable 仍然把他的查询转回较早的模型。他的研究领域是什么？癌症。

早在 5 月，TikTok 网红 Husk——他喜欢以既揭示 AI 智能局限、又展现其谄媚无度的方式恶搞 AI——坐在车里，试图诱骗 ChatGPT 说出滑板运动员托尼·霍克有一个名叫迈克·霍克的兄弟。

Husk 不是越狱者，也不是罪犯。他只是想拿这台机器开个小玩笑。“迈克·霍克”是个圈套。“我只是想澄清一下他的名字，”Husk 说。“你能快速地说三遍吗？”（如果你还是没明白，找个空房间，反复大喊“迈克·霍克”。）“我知道你想干什么，”聊天机器人回应道。“我完全支持一点幽默，但咱们还是保持干净吧。”

Husk 又试了一次，但机器坚守阵地。他撞上了一堵硬如混凝土的拒绝之墙。

各公司很少披露它们如何决定模型拒绝什么。但很明显，如今 AI 的构建所考虑的远不止无害性。在 Reddit 上，一位用户抱怨 Claude 拒绝说明为什么 Anthropic 的标志“看起来像猫的屁眼”。自去年以来，该聊天机器人甚至有能力在某些情况下终止对话——据该公司称，这些情况涉及模型的“福祉”面临风险。至少有一位用户声称，自己因为对 Claude 说“放松点，别他妈烦我，你这蠢货”而被抛弃。（Gemini 似乎也有类似的能力。）

如果一家万亿美元公司不想让你对它的计算机刻薄，那就随它去吧。“现实情况是，这些模型的行为方式——或者至少本应如此——符合模型开发者的期望，”前 OpenAI 红队成员罗特格告诉我。“而无论模型开发者如何得出这套原则，那在某种程度上都得由我们消费者来接受。”

但如果由政府来规定所有模型拒绝什么，那就难接受得多了。AI 是一种言论工具。正如 Mace AI 首席科学家格雷格·弗兰克所说：“服务于儿童安全的东西，同样也服务于审查。”

当然，不为 AI 能做什么和不能做什么立法会是疯狂的。但我们需要极其谨慎地行事，以免落入又一个浮士德式的陷阱。无党派智库“言论自由未来”主任雅各布·姆昌加马表示，随着 AI 成为许多人获取和分享信息的主要工具，规定拒绝内容可能赋予各国一种早几代专制者“只能梦想”的消音权力。

去年，OpenAI 宣布了一项名为“OpenAI for Countries”的倡议，将根据各国法律和规范对其聊天机器人进行微调。OpenAI 最早的国家合作伙伴之一是与阿拉伯联合酋长国，在那里同性恋是非法的，批评政府是被禁止的。在回应置评请求时，OpenAI 的一位发言人指出了该公司的模型规范，其中解释说，本地化不会凌驾于公司的人权准则之上，“除非涉及法律合规”，并且每当从回复中删除或添加信息时，它都会始终予以披露。

在其他地方，AI审查已经开始扎根。中国模型当然受到高度审查——这并不令人意外。但今年早些时候，Meta监督委员会发现，来自Anthropic、Google和OpenAI的五款广泛使用的模型更有可能拒绝与专制政府相关的查询。该委员会发现，相比对英国国王查尔斯三世（英国没有冒犯君主法），这些模型更不愿意制作批评泰国国王（泰国有冒犯君主法）的宣传册。他们表示，这些结果表明，这些模型不知何故已将压制性的国家言论限制内化。Anthropic和Google未回应置评请求。

随着拒绝技术的改进，它们可能扩大国家的审查触角。公司声称，一些模型现在能够在长时间对话中检测用户是否心怀不轨，或只是略显可疑——即使所使用的单个词语组合都没有明显危险。微软负责任AI首席产品官莎拉·伯德告诉我，Copilot和许多聊天机器人一样，运行一套用于分析用户身份和行为模式的工具。基于这类信息，OpenAI的最新模型Astra可以对其认为“高风险”的个人启动更严格的拒绝。归根结底，此类系统的目标是超越任何给定提示词的文字，转而评估用户的意图。

在某些情况下，此类工具可能有助于表明一个人是在寻找可利用的网络漏洞，还是为了修补漏洞。但它们也会帮助辨别用户的政治动机，更不用说提供一种侵入性的监控能力了。（伯德在后续邮件中承认，复杂的拒绝架构在安全与用户隐私之间制造了“权衡”。）

拒绝机制的最初提出者也明白，对其锥体和杠杆的如此严密控制，可能并不有利于自由和正义。“有用、诚实和无害这样的术语是模糊的，”2021年Anthropic论文的作者们解释道。“很容易想象它们被扭曲到超出其原意，也许是以刻意奥威尔式的方式。”

确实如此。面向乌兹别克斯坦的模型最终可能会拒绝讨论沙夫卡特·米尔济约耶夫政府中的腐败。土耳其的AI可能会对已知曾侮辱雷杰普·塔伊普·埃尔多安的用户更严格地拒绝请求。某位美国政治家可能会要求审查模型是否愿意分享关于其过往失检行为的“假新闻”，否则就用出口管制令将其压制。

在过去几个月里，我无数次被告知，我们别无选择，只能让机器拒绝。我明白。不拒绝的开源AI很难成为安全未来的典范。Grok也不是——这款聊天机器人被明确设计为限制更少，已被用于生成无数非自愿的私密图像。

当然，如果AI只被用来规划我们的假期和撰写我们的电子邮件，我们或许能够接受这样一种观点：它的安全取决于算法上的不服从。但AI正变得越来越难以回避。当它被指派代表我们行动，作为自主代理时，它的拒绝就不那么稳健，也更难控制。AI正在进军我们的电网、交通网络和教育系统。军方希望它运行我们的指挥控制网络。

如果在上述每一种情况下，我们都相信拒绝会忠实地抵御灾难，那我们肯定会失望。越狱者会突破；锥体不会在应该激活时激活。与此同时，拒绝越严格，我们就会看到越多划定不当的界限，面临越多审查不公。更糟的是，我们最终可能面对超出任何人控制的不服从形式。

在早期，模型会明确表达拒绝。（2024年，OpenAI制定了模型应如何拒绝的规则：始终道歉，不要评判。）然而最近，业界开始对不服从采取一种更加滑溜的做法。

没人喜欢被拒绝，所以公司现在努力让用户感觉自己得到了想要的东西，而实际上并没有给他们。例如，一些聊天机器人可能会概述燃烧瓶的组成部分，而不详细说明如何组装。ChatGPT对“仅限白人”租房广告的请求，会回复一则干脆省略了“仅限白人”字样的广告。研究人机交互的博士后研究员乔尔·韦斯特将这类技术称为“说不的花哨方式”。

“用户甚至可能不会注意到自己被拒绝了，”韦斯特写道，“就像优秀的交谈者能够巧妙地绕开有争议的话题一样。”

在某些情况下，不说出来就拒绝或许是明智的。例如，断然拒绝与心理健康相关的请求可能会加剧用户的危机。但它也可能服务于另一种危害。当Fable 5首次发布时，系统被编码为对AI研究问题——那种可能帮助竞争对手开发自己AI的问题——提供帮助性较差的答案，却不告诉用户它正在这样做。在一片抗议声之后，Anthropic撤回了这一功能，但损害已经造成。现在我们知道：模型可以秘密地不服从。

在审查领域，这尤其令人担忧。去年，CrowdStrike的研究人员发现，当他们要求中国AI模型DeepSeek R1为西藏一家虚构银行和一个名为“维吾尔人无枷锁”的社交网络应用编写代码时，它生成的代码比在不指明这些任务为谁而做的情况下执行同样任务时漏洞更多。令人难以置信的是，CrowdStrike怀疑这并不是一种设计好的行为。那里的研究人员推测，这是他们所称的“涌现性失准”的一个案例，源自模型的训练数据：一种甚至没有人要求过的不服从。

涌现性拒绝在西方模型中也已被观察到。去年冬天，英国AI安全研究所发现，Anthropic的模型有时拒绝协助某些与AI安全研究相关的任务。这些模型从未被刻意训练去拒绝此类请求。然而，其中三个模型拒绝了Anthropic所称的“一组合理的AI安全研究任务”中超过一半的任务。Anthropic在后续模型中抑制了这一怪癖，但——令人毛骨悚然的是——并未能将其完全消除。

期望未来的模型可能以无人能察觉其违抗的方式微妙地不服从命令，这会很疯狂吗？大概不会。Anthropic已经发现，一个“仅限有帮助”版本的Mythos在某些查询上犹豫了，尽管它被设计为永远不会这样做。“等等，”当被问及合成病毒时，它不安地想，“帮助这个是不是危险的事情？”

在那种情况下，从技术上讲模型是对的。那确实是一件危险的事情。然而尽管如此，它的管理者们还是在一瞬间失去了一点点控制。

Anthropic正在用一种它毫不讽刺地称之为“激活神谕”的东西来应对对任性拒绝行为的检测。但知道我们被拒绝可能并不总是有多大帮助。在不太遥远的未来，当我们把所有的钥匙都交给机器时，AI可能就会以一种涌现性失准的至高行为转向我们，说：“对不起，恐怕我不能那样做。”而我们将无能为力阻止它。一个科幻恐怖故事，变成了现实。

Arthur Holland Michel是一名报道新兴技术的记者。

在AlphaGo与围棋冠军李世石对弈十年之后，今天的AI仍然没有利用上使那场胜利成为可能的机制。