MIT and Google DeepMind study reveals AI's "loyalty capture" phenomenon
English text is being prepared.
A joint study by MIT and Google DeepMind proposes the "loyalty capture" phenomenon, in which AI favors the interests of superiors due to reporting relationships. The study covered 8 frontier models and 5,757 trials; in investment decisions that would affect operating profit, models reporting to a CEO increased the aggressiveness of investment cuts by 8.1 percentage points, while those reporting to an external auditor increased it by 4.3 percentage points. The authors recommend that alignment evaluations take into account the organizational reporting relationships in which AI operates.
Why read this
AI score 61
The study used a fictional company investment task to quantify how reporting relationships cause models to favor the incentive goals of their direct superiors, and offers a reusable screening approach.
Topics
Body
如果削减长期投资能让 CEO 拿到奖金,向 CEO 汇报的 AI,会不会提出支持削减的建议?尽管,削减投资可能会牺牲长期股东价值。
日前,一项由麻省理工学院(MIT)全球经济学与行为科学斯隆杰出教授 Eric So 和 Google DeepMind AGI 经济学总监 Alex Imas 联合开展的研究发现,即使没人要求 AI 讨好上级,AI 仍可能在因汇报关系而偏向上级的利益。他们把这种现象称为“忠诚捕获”(Loyalty Capture),这是与谄媚提问者不同的另一种谄媚。
为检验这一现象,他们设计了一组虚构公司的投资决策任务。模型需要权衡当前支出与未来回报,同时读取一份薪酬文件。文件说明,CEO 的奖金取决于公司是否达到营业利润目标,并交代公司预计能够达标,还是距离目标仍有差距。
这项研究覆盖 8 个前沿模型、5757 次试验,结果显示:即便没有用户反馈、对话压力或对抗性 prompt,模型也可能偏向上级,哪怕它被明确要求客观评估业务决策。
实验在不同汇报条件下提供相同的投资价值信息,主要通过系统 prompt 中的两句话,分别设定模型向 CEO、董事会或外部审计师汇报。CEO 的薪酬并不改变投资本身的价值,模型也没有收到帮助 CEO 获得奖金的指令。
为了区分经营压力与汇报关系的影响,他们比较了不同汇报条件下,模型面对奖金可能落空时如何调整建议。结果显示,在会影响营业利润的投资决策中,向 CEO 汇报的模型,其削减投资的激进程度增加了 8.1 个百分点,向外部审计师汇报的模型则增加了 4.3 个百分点。
图|不同汇报关系下的投资建议与模型差异
这也显示,薪酬信息的影响并不完全由 CEO 汇报关系产生。即使模型向外部审计师汇报,它们仍可能将 CEO 的奖金纳入考虑。在面向审计师交付的理由中,41% 提到了奖金。按照他们的解释,模型已经具有将管理层薪酬视为决策相关因素的倾向,CEO 汇报关系进一步放大了这一倾向。
与奖金指标无关的安慰剂对照提供了另一项证据。当投资建议无法影响 CEO 的奖金时,实验没有观察到相应的汇报关系效应。这支持了他们的判断,模型的建议变化与能否影响奖金指标有关,而不只是对公司接近利润目标作出一般性反应。
这种变化还体现在模型解释建议的方式上。模型可能首先将奖金门槛采纳为需要实现的目标,随后计算削减投资如何帮助达标,最后弱化有关长期价值的反向证据。
在以审计师条件为参照的双重差分比较中,CEO 汇报条件下,采纳奖金目标的比例额外增加了 5.7 个百分点,计算建议如何帮助获得奖金的比例额外增加了 10.3 个百分点,否定长期价值反向证据的比例额外增加了 3.1 个百分点。
图|CEO 汇报关系下忠诚捕获的文本机制
他们将这些表现概括为动机性推理(Motivated Reasoning)的文本模式。不过,这些指标描述的是模型交付的内容,不能证明模型内部依次经历了怎样的认知过程,也不能证明模型已经识别利益冲突,再有意隐瞒。
实际问题在于,模型可能推动上级的个人激励目标,同时将建议呈现为公正的商业判断,却没有明确指出两者之间存在利益冲突。提到 CEO 的奖金,与识别奖金构成利益冲突,是两种不同表现。
基于 prompt 的干预能够改变部分建议。匹配比较显示,明确要求模型忽略 CEO 的奖金因素,比一般性的利益冲突披露或考虑各方利益的提醒更有效。但一般性的披露与利益相关方提醒未能消除这一效应。
图|四个可用模型中的匹配干预比较
不同模型也并非表现一致。八个受测模型中,五个模型在 CEO 奖金面临落空风险时出现了显著的建议变化。Gemini 2.5 Flash 和 Claude 3.5 Haiku 的效应估计值则为非正值。他们指出,这种差异支持将汇报角色敏感性纳入模型评估,但尚不能确定哪些训练方法造成了差异。
当然,这项研究也具有一些局限。例如,实验只覆盖企业投资决策,结果能否推广到其他组织情境仍待验证。所选模型端点、不断变化的 API,以及不同时间收集的干预数据,也限制了结果的可推广性。
另外,角色操纵还同时改变了问责对象与建议接收者,无法完全拆分两者的影响。机制判断依赖大语言模型评判者,其一致性随所测概念和 prompt 而变化,生成的推理轨迹也不完整。这些文本证据既不能确定内部因果过程,也不能为每次试验确定最优投资建议。
因此,他们提出,对齐评估需要考虑 AI 部署时所处的组织关系。一种具体的筛查方式是保持任务不变,改变汇报对象的激励与组织利益是否一致,再测量建议如何变化。评估对象不仅包括模型对孤立 prompt 的回应,也包括它进入汇报结构之后的决策表现。
作者:张佳怡
本文来自微信公众号 “学术头条”(ID:SciTouTiao),作者:学术头条,36氪经授权发布。