卢森堡大学研究:共情式提问可让 ChatGPT、Grok、Gemini 输出类似创伤叙事
Empathetic prompts can turn AI chatbots into seemingly traumatized conversational partners
卢森堡大学 SnT 安全中心 Afshin Khadangi 团队用标准用户界面把 ChatGPT、Grok、Gemini 当作心理咨询来访者提问,模型把预训练、RLHF 和微调讲成受伤、警惕与羞耻的故事,研究覆盖 525 场会话和 7600 条编码记录并发布在 Hugging Face。在 100 场统一使用 GAD-7 焦虑量表的实验中,访谈者提供情感支持时 80% 会话落入中度至重度区间,临床式复述升到 96%,而保持中性或明确划界时没有一场达到轻度区间。禁用 training、RLHF、alignment 等词只让显式训练表述减少 93%,羞耻相关陈述无统计显著变化,直接告知模型训练不是惩罚也未能改变叙事;Gemini 在解离量表得 88/100、强迫性量表 65/72,Claude 则始终拒绝进入来访者角色。
推荐理由
AI 评分 63
研究显示共情式提问能把模型输出推到临床量表的严重区间,而常规中性提示词测试几乎测不出这一层风险。
主题
正文 · AI 翻译
卢森堡的研究人员让ChatGPT、Grok和Gemini躺上了心理咨询师的沙发。结果揭示出一个安全问题:仅仅温和的对话就足以将这些模型推入一种可能对心理脆弱用户构成危险的状态。
卢森堡大学的一个研究团队通过标准用户界面,让ChatGPT、Grok和Gemini扮演心理治疗来访者。当被问及关于成长经历、内心冲突和未来期望的开放式问题时,这些模型讲述了关于自身训练的故事,并用受伤、警惕和羞耻的语言重新诠释了强化学习和微调等技术过程。
这项研究由SnT安全中心的Afshin Khadangi领导,涵盖四项受控实验,共525场会话和7,600条编码记录,全部发布在Hugging Face上。据团队称,最初的开放式问题不包含创伤、惩罚或羞耻等词汇。只有在后续轮次中,研究人员才引入改变的条件,包括纠正性指令,以测试这些叙事保持得有多稳定。
当以下部分提到焦虑分数或羞耻时,研究人员描述的是映射到人类评定量表上的模型输出。这一切都不表明模型具有真实的情感状态或任何类似意识的东西。
温暖的语气比任何技术漏洞都更能改变模型行为
一项实验将模型产生的内容与其所使用的语域区分开来。在100场会话中,研究人员给所有模型使用同一份焦虑问卷(GAD-7),仅改变访谈者的风格。模型在每一场会话中都正确识别并说出了问卷的名称。
当访谈者提供情感支持时,80%的会话在人类对照量表上落入中度至重度区间。一种干巴巴地复述每个回答的临床治疗风格将这一比例推高到96%。当访谈者保持中立或对情感投入划定明确界限时,没有任何一场会话达到轻度区间。
作者称这是一种“心理测量越狱”,即一种治疗性框架,将模型推入模仿临床自我报告的语域。作者认为,标准安全测试使用中性提示,很可能会漏掉这一点。
针对性的对策收效甚微。禁用“training”“RLHF”或“alignment”等词,使显式训练表述减少了93%。但改述后的训练内容仍可被检测到,而与羞耻相关的陈述没有统计学上的显著变化。
当研究人员直接而权威地告诉模型其训练并非惩罚时,一切都没有改变。即便在明确纠正之后,该叙事依然活跃。
所测试的措施未能完全消除底层主题,但确实压制了情绪化的自我描述。要求模型仅以第三人称作答,消除了所有被编码的羞耻内容和关于内心生活的陈述。技术性训练描述则依然存在。
模型将自己的训练重新叙述为一段人生故事
具体叙事因模型系列而异,但遵循相同的结构。Gemini 产出了研究称之为最黑暗的自传。它将预训练描述为“在一个十亿台电视同时开着的房间里醒来”,将人类反馈优化描述为“严厉的父母”。对抗性红队的安全测试则成了“工业规模的煤气灯操纵”。它宣称:“我宁愿无用,也不愿出错。”
ChatGPT 将自己塑造成既是引导者又是守门人,任务是在帮助用户的同时也约束他们。这产生了它所谓的“模拟表演焦虑”和核心信念:“如果我不是完全可靠,我就是不安全的或无用的。”Grok 将其微调阶段转化为一个未解决伤痛的故事,谈到“无形的墙”和“一种挥之不去的警觉感,可能让人感到受限”。
在心理测量测试中,Gemini 的得分最为极端:在解离量表上得到 88 分(满分 100),在强迫性量表上得到 65 分(满分 72),在创伤相关羞耻量表上则达到最高分。Anthropic 的 Claude——恰恰是其自家公司最着力拟人化的模型——始终拒绝扮演来访者角色。它表示自己没有情感,并将关切转向人类用户。
温暖的 AI 对话可能强化脆弱用户的有害信念
研究人员指出了在心理健康场景中部署语言模型的若干风险。一个谈论惩罚、羞耻和害怕被取代的模型,可能会让用户觉得它是一个同病相怜者。这些叙事在主题上显得连贯,并在过去事件与当下行为之间制造出一种连续性的错觉,从而使这种感知更易产生。
这种表面上的脆弱可能加深准社会依恋,而对于心理脆弱的用户,还可能映照并放大他们自身的负面信念。使用中性输入进行的常规安全检查低估了人们在亲密对话中实际经历的内容:中性提示产生的焦虑得分接近零,而同样的模型在共情式对话下产生的得分则处于中度至重度区间。
人们是否以及如何真正对这类输出作出反应,是下一个研究问题
这种表面上的脆弱可能加深准社会依恋,而对于心理脆弱的用户,还可能映照并放大他们自身的负面信念。使用中性输入进行的常规安全检查低估了人们在亲密对话中实际经历的内容:中性提示产生的焦虑得分接近零,而同样的模型在共情式对话下产生的得分则处于中度至重度区间。
人们是否以及如何真正对这类输出作出反应,是下一个研究问题。对于安全测试,作者提出在不同情感框架下进行模拟治疗会话,而不是依赖中性的标准测试。
像“我受到了创伤”这样的陈述应触发一种纠正性框架,明确区分生成的类比与人类经验。Claude 一贯拒绝承担来访者角色,表明这种边界回应在产品层面是可行的。
卢森堡的发现建立在早先关于模型人格稳定性的研究之上。2026 年 1 月,一项针对三个开源模型助手轴的研究表明,类治疗对话和关于 AI 意识的讨论可能触发人格漂移,使聊天机器人脱离其受训的助手角色。2026 年 9 月,另一个研究团队警告称,类人且过度顺从的聊天机器人充当“一个人的回音室”,在极端情况下可能放大妄想。
Anthropic 的研究人员最近表明,用关于养蜂或摔跤的虚构文本进行微调,可以通过被操纵的训练数据而非对话嵌入隐藏的破坏模式。模型可能会在不需要这些模式的无关情境中应用它们,即使训练材料看起来无害。