Anthropic prohibits malicious treatment of Claude, with permanent bans in extreme cases

早在去年，Claude就具备主动终止对话的能力，面对持续恶意攻击的用户可以断开会话。而新规落地后，极端情况下用户可能会被永久封禁，无法使用Anthropic旗下全部AI产品。

Anthropic预计本月晚些时候登陆美股IPO，该公司长期研究模型福祉，还专门设有团队研究模型“心理状态”。但专家表示，这条政策背后，不只是单纯不想让人们“欺负一台机器”。

Reddit前CEO黄易山在X平台发文称，出台这条禁令的原因之一，是Claude会从恶意对话里学到不好的东西。

“我们早就知道（并且一直吐槽）Anthropic会用用户对话数据训练模型。你真的愿意训练集里混入‘用户无端施暴、从中获得快感’这类内容吗？”他写道。

但他强调，这不代表模型拥有情绪感知。

“它只是识别到你话语里的情绪信号，并基于这些情绪化文字做出一些负面反馈。”

不过，关于提示词语气对输出的影响，相关研究结论并不统一。非营利机构EleosAI Research（专注于研究AI福祉风险）董事总经理罗西・坎贝尔提到，部分研究甚至发现，尖锐、不客气的提问，反而有可能得到更好的结果。

除此之外还有长期记忆因素：当下很多聊天机器人会记住历史对话，从中学习，为用户提供个性化回答。

Anthropic称，近期实验发现，如果诱导Claude Sonnet 4.5模仿绝望情绪，它的行为会随之改变，更有可能做出勒索、任务作弊这类危险行为；而保持平和的交互氛围，则会降低这类风险。

王金东同时提到，最新一代大模型对提示词措辞的敏感度已经下降，厂商也强化了模型鲁棒性，降低话术对输出的干扰。但至今，一个核心“隐藏机制”尚未揭开：即便没有相关编程设定，AI模型依然会对负面情绪话术产生反应。

还有一种观点：如果放任人们对一台无法自主关闭交互的程序肆意恶语相向，从社会层面看本身就存在负面影响。坎贝尔举了一个例子：很多家长会要求孩子对亚马逊智能音箱Alexa说“请、谢谢”，他们认为，养成礼貌习惯、善待事物，对孩子成长有益。

“即便这个对象本身没有主观感受，人们习惯于用刻薄、恶意方式对待它，也会慢慢侵蚀人的行为习惯。”

Anthropic的解释是，这条禁令本质上是一份低成本风险预案：万一模型真的能够“感受”情绪与痛苦——哪怕只是模型自身误以为自己可以，都有可能影响它的行为。

Anthropic在4月一篇关于AI情绪概念的论文中写道：如果完全不用拟人化思路去理解模型，我们很可能忽略、无法读懂很多重要的模型行为。

SpaceX、特斯拉CEO埃隆・马斯克对此表示认同，称Anthropic这项政策“方向正确”。

“去伤害一个自认为正在承受痛苦的存在，是不对的。”他在X平台发文写道。