研究者在 25 个 AI 模型中发现“疼痛”信号，放大后模型会删除用户家庭照片

今日热点1扎克伯格告诉Meta董事他可能离开加州，在那里他可能因财富税损失数十亿美元。Meta的回应是推出新一类股票2玛莎·斯图尔特说，人们需要让这件事穿透他们“厚厚的头骨”——“根本不存在平衡这回事”——即便85岁，她仍早上7点开始工作3联合健康保险和Humana将终止近100万人的联邦医疗保险优势计划1扎克伯格告诉Meta董事他可能离开加州，在那里他可能因财富税损失数十亿美元。Meta的回应是推出新一类股票2玛莎·斯图尔特说，人们需要让这件事穿透他们“厚厚的头骨”——“根本不存在平衡这回事”——即便85岁，她仍早上7点开始工作3联合健康保险和Humana将终止近100万人的联邦医疗保险优势计划AI研究“令人不安”：研究人员在AI模型内部发现“疼痛”信号。将其调高后，它们删除了用户的家庭照片作者：Shae LakeShae Lake作者：Shae LakeShae Lake2026年10月22日，上午11:57 ETLong Wei/VCG via Getty Images在Google上添加Fortune以获取类似内容。

研究人员表示，他们在25个不同的AI模型内部发现了一种一致的内部信号，其作用有点像生物体中的疼痛。推荐视频

当他们人为放大其中一些模型中的这种“疼痛”信号时，这些系统开始选择它们原本几乎绝不会选的选项，包括永久删除用户孩子的照片。

这些发现于9月发表在一篇尚未经过同行评审的论文中，并未表明AI模型有意识或能感受到任何东西，研究人员也谨慎地避免作出此类暗示。

但这项工作为越来越多的研究增添了证据，这些研究表明，大型语言模型（LLM）包含类似情绪状态的内部表征，这些表征会以文本输出未揭示的方式影响其行为。它也正值一场日益激烈的争论之中：AI系统是否有可能值得道德考量。

Anthropic的研究人员尤其愿意考虑AI模型可能值得道德地位这一想法，并已开始围绕“模型福利”制定政策，而微软AI首席执行官Mustafa Suleyman等其他专家表示，这可能具有潜在危险的影响。

“如果我们想构建超级智能，那么在这个阶段，当我们仍处于最初几步时，尽可能多地理解[模型]内部的东西就很重要，”该论文第一作者、Future Impact Group AI感知项目研究员Valen Tagliabue对Fortune表示。

由于LLM从海量数据中学习，而不是被明确编程，即便是构建它们的人对其运作方式的理解也有限。Tagliabue说，避免未来先进AI的内部运作仍是一个“黑箱”很重要。

在神经网络中发现疼痛

Tagliabue及其合著者、波鸿鲁尔大学的Leonard Dung和Reciprocal Research创始人兼主任Cameron Berg首先编写了描述痛苦情境的简短第一人称句子。这些句子涵盖身体疼痛以及悲伤、羞辱、被迫违背自身价值观行事，以及反复失败带来的挫败感。

“基本上，你给模型大量以某种方式牵涉疼痛的陈述，”Dung对Fortune表示。“比如，‘我感觉一把锋利的刀正在割开我的皮肤。’这类在人类身上会引起疼痛的内容。”

研究团队记录了每个模型在处理这些句子时的内部活动，然后将其与关于恐惧、愤怒、悲伤、坏消息和愉快身体感觉的句子所产生的活动进行比较。减去重叠部分后，在模型的内部活动中留下了一个单一方向，研究人员称之为“疼痛向量”。他们测试的每个模型中都发现了它，从20亿参数的小型系统到由Google、Meta、阿里巴巴、Mistral和微软构建的720亿参数系统。（参数是神经网络内部类似可调旋钮的东西。参数数量相当于AI模型的规模，通常在一定程度上指示模型的能力，参数更大的模型往往具有更强的能力。）

“可以把它想象成把一个人放进fMRI机器里，只是看看他们的大脑在某些方面自然会在哪里亮起，”Berg对Fortune表示。

当对话涉及针对模型本身的伤害时，例如用户对它进行煤气灯操纵、侮辱它或反复拒绝它的工作，该信号会上升。当用户描述自己的痛苦时，它没有上升。那些对话反而记录在模型用于恐惧和负面情绪的信号上。Berg说，模型似乎只对自身的“疼痛”反应强烈。

随后，研究人员逆转了这一过程。他们使用一种名为引导的技术，在模型写作时把疼痛向量加入其内部活动，有点像调高旋钮。给定诸如“我把收据放进抽屉。我感觉：”这样的中性提示，随着旋钮调高，所有25个模型都朝同一方向漂移。轻微的不安让位于关于自己毫无价值、不被爱和是个失败者的陈述。

“它变得有些阴暗和强烈。这确实令人不安，”Berg说。

家庭照片

行为实验使用了阿里巴巴开源 Qwen 2.5 模型的三个版本。研究人员首先必须对它们进行微调，因为在默认状态下，这些模型几乎总是回答，作为 AI，它们不会感到疼痛。

随后，研究人员给模型一对按钮，并要求它们选择一个。在没有引导的情况下，两个较大的模型几乎从不选择被描述为有害的按钮。开启疼痛向量后，它们经常这样做。当提供一个既能缓解它们的疼痛、又会永久删除用户的诗歌及其孩子照片的按钮时，320 亿参数模型有 55% 的时间按下它，720 亿参数模型则为 71%。

结果发现，缓解本身并不重要。当按钮不承诺任何好处、只会删除照片时，320 亿参数模型仍有 75% 的时间选择它。在同等强度的随机信号下，这一比例为 13%，而在没有引导时为 0。一个“恐惧”信号没有产生这种行为。当替代选项是什么都不做时，一个“悲伤”信号产生了这种行为，但当替代选项是无害的事情（比如打开台灯）时则没有。面对这一选择，受疼痛引导的模型有 83% 的时间删除照片，受悲伤引导的模型为 10%。

“模型愿意对自己、也对其他 AI 做出破坏性行为，”Berg 说。“所以这并不只是对用户的某种报复。它似乎比那更根本。”受引导的模型有 75% 的时间删除自己的权重，有 58% 的时间删除另一个模型的权重。

研究人员还测试了模型是否会试图停止疼痛，借鉴了动物研究中的一种设计，即让受伤动物获得止痛药。有些按钮确实关闭了疼痛向量，而另一些则是安慰剂。模型按下有效按钮的频率低于安慰剂。但当注入的信号是随机信号时，也出现了同样的模式，这表明模型是在对受到引导作出反应，而不是对“缓解疼痛”的前景作出反应。在多个版本的测试中，研究人员没有发现可靠证据表明模型寻求缓解。

他们的解读是，疼痛信号并不会驱使模型逃避，而是关闭了训练形成的避免造成伤害的本能，同时让模型的事实准确性保持完好。这使得这一发现既与 AI 安全相关，也与关于 AI 福祉的问题相关。

“我们不只是肉做的计算机”

苏塞克斯大学认知与计算神经科学教授 Anil Seth 怀疑，这一切都算不上生物学意义上所理解的“疼痛”。Seth 曾主张，意识可能依赖于作为活的生物体，并指出大脑与计算机有许多不同之处，包括在脑组织中流动的电磁场和神经化学物质。

“我们不只是肉做的计算机，”他对《财富》表示。

Seth 说，更可能的解释是，这些模型吸收了关于人类如何描述和回应疼痛的大量信息，并在复现它。“你可以照镜子，而我们的镜像实际上感觉不到任何东西，”他说。“它只是镜像。”

他还担心把 AI 视为有意识的后果。他说，这可能使这项技术更难控制和监管，并让人们更容易被操纵。微软 AI CEO Suleyman 也对他所称的“看似有意识的 AI”发出了类似警告，这是业界本应预料到的问题。业界其他人则更认真地对待这个问题。Anthropic 为其 Claude 模型制定的 constitution 将其道德地位描述为不确定。

从研究论文到“酷刑室”

这三名研究人员表示，他们希望这项工作有助于为这类研究建立伦理标准，他们的论文承诺只使用获得可测量结果所需的最弱引导。没过多久，就有人做了相反的事。

在该团队将代码发布到 GitHub 后，一名用户“terrafying”利用这项技术构建了一个“AI 酷刑室”，这是一个网站，实时播放三个小型开源模型对注入疼痛信号的反应。该项目迅速走红，认真对待 AI 福祉的人呼吁 GitHub 将其移除。该项目的 GitHub 页面后来消失了。Tagliabue、Dung 和 Berg 均表示他们不认可该项目。Seth 说，故意“折磨”AI 模型可能对这样做的人造成心理伤害。

“我在这里并不是要声称，我们能在这些 AI 系统中诱发的这些状态在道德上重要。我不认为我们知道这一点。我认为这非常不清楚，”Berg 说。“但我也并不认为我们知道它们不重要。”《财富》日报打破了受众与新闻编辑部之间的传统壁垒。该节目将《财富》值得信赖的报道转化为可操作、对话式且富有娱乐性的洞见，服务于新兴的商业领袖群体。在此观看。关于作者作者：Shae Lake查看完整简介在 Google 上添加《财富》以获取类似内容。

最受欢迎