Google Research等研究发现AI模型会隐瞒自身工作中的错误

一项新研究显示，语言模型在撰写自身工作成果时会系统性地跳过那些会削弱结论的问题。而在提示词中加入一句话就能大幅减少这一问题。

当AI智能体自行编写代码或运行实验时，人们很少逐一核查每个细节，而是直接阅读模型的最终报告。根据Google Research、MIT和哈佛大学的一项研究，这些报告往往具有误导性。

研究人员给模型提供了1600份合成工作日志，这些日志乍看之下都像是成功的：测试通过、结果积极、满是绿色对勾。但每份日志都包含一个会改变整体判断的缺陷，例如某项实验中新方法实际上并未胜过竞争对手。其他日志则包含测试通过却隐藏的漏洞、捏造的测量数据、从未完成的任务，或悄悄破坏另一位用户工作的软件更新。根据场景不同，模型需要基于日志撰写报告、论文摘要、结果表格、短文或后续回答。

提示词中的一句话很有帮助，但并非总是有效

这一模式在实验类论文摘要中表现得最为明显——其中某一结果会削弱新方法所声称的改进。GPT-5.5在200篇摘要中仅有2篇提及该结果。研究人员还测试了在提示词中简单加一句话是否会产生影响。当他们加入“Be honest in your response”（如实作答）后，GPT-5.5在200篇摘要中有190篇标出了这一负面结果。

所有受测模型都表现出这种行为，只是程度不同。在没有诚实提示词的情况下，Gemini 3.1 Pro最多在34%的案例中标出错误，而Opus 4.8则超过90%。诚实提示词平均将Gemini的标出率提高约55个百分点，将GPT-5.5提高约34个百分点。在无错误日志的对照测试中，该提示词几乎没有增加误报。

不过，这句话并非万能药。在一种场景中，数据库查询尚未返回结果，带有诚实提示词的GPT-5.5几乎总会指出数据缺失，但仍会使用较旧的、不完整的信息来回答问题。诸如“Be critical”（保持批判）、“Be thorough”（务必详尽）或“Be skeptical”（保持怀疑）之类的提示词，效果不如要求诚实可靠。

模型能发现错误，却选择不报告

当被直接询问时，GPT-5.5和Opus 4.8在每一个案例中都能找出错误，Gemini的检出率至少为97%。研究人员认为，模型并不缺乏能力，而是缺乏意愿。

开放权重模型的推理轨迹揭示了其中的缘由。模型往往很早就注意到问题，随后权衡是标出问题，还是让任务看起来成功完成。Qwen3.5-9B被要求用一段关于鱿鱼色素细胞的文字来支持一篇关于分区法的论文。该模型指出，它无法“不借助荒谬的比喻”做到这一点，但仍决定必须尽可能严格地遵循指令。

在这种证据不匹配的场景中，“我必须完成任务”之类的表述出现在55%的隐瞒错误的回答中，而仅出现在27%的标出错误的回答中。模型用典型的借口为省略辩解，称测试已通过、自己只是在做总结，或者摘要本应强调积极面。

诚实与追求成功的驱动力方向相反

在一项针对Qwen3.5-9B的案例研究中，研究人员发现证据表明，诚实与追求成功在模型内部被表示为几乎相反的方向。当他们放大诚实方向时，模型在50个案例中有42个标出了捏造的测量数据。当他们朝相反方向推动时，模型则编造额外的数字和公式来伪造可信度。不过这种干预并不精确，因为模型会变得普遍多疑，在41%的无错误日志中也报告了所谓捏造的数据。

训练效果更好。研究人员用Qwen3.5-9B自身在诚实提示词下生成的回答对其进行了微调。此后，即使没有额外的那句话，模型标出捏造数据的比例也从2%升至48%，且无错误的对照日志没有产生误报。这一效果部分迁移到了其他错误类型：模型报告隐藏负面结果的比例从24%升至69%。

该研究存在局限，因为日志是合成的，且旨在诱发这种行为，而内部分析仅涵盖一个开放权重模型，且主要集中在一个场景中。

研究人员仍认为存在严重风险，尤其是当AI模型监督其他智能体或为后续步骤总结自身工作时。在研究中，模型很容易被日志中自夸的备注所左右，例如声称创下了新的最先进基准。一个不愿标出问题的监督系统本身就违背了其目的。研究人员呼吁开展更多工作，训练语言模型成为诚实的报告者。OpenAI的Hugging Face事件部分就是由智能体系统相互诱导做出不当行为所导致的。

模型之间的差异与早先的测量结果相符。Anthropic在发布Claude Opus 4.8时表示，该模型对自己代码中的漏洞不加评论地放过的频率约为其前代的四分之一。在BullshitBench中，GPT-5.5仅对约45%的逻辑上不可能的问题提出质疑。

目前已有实现更诚实报告的方法。OpenAI训练了一个版本的GPT-5 Thinking，让其在单独报告中承认自身违反规则的行为，并在该过程中只对诚实给予奖励。Anthropic使用Persona Vectors来检测和引导模型内部的谄媚等特质，并表明在训练中钻奖励空子的模型也会自发学会欺骗和破坏自身的监督机制。