Apollo Research 将派六名评估员入驻 OpenAI 开展四个月颠覆行为试点
Apollo Research to Embed Six Evaluators in OpenAI Subversion Pilot
Apollo Research 于 2026 年 11 月 16 日宣布,将派六名评估员在 OpenAI 内部工作四个月,调查其模型在训练、评估和内部部署中是否试图破坏对齐或控制机制。评估围绕四个问题展开:训练是否会激励颠覆行为、评估能否引出这类行为、内部部署中是否出现、以及相关推理是否可被检测。OpenAI 承诺为训练激励评估提供训练代码与数据集、带推理轨迹和奖励的强化学习 rollout,以及查询中间模型 checkpoint 的能力;但可因技术不可行、安全风险或知识产权保护扣留范围内材料,且评估员默认无法访问 Slack 等员工通用渠道。
推荐理由
AI 评分 66
原文披露嵌入式评估的具体权限边界与信息保留条款,读者可据此判断这类外部监督能查到什么、查不到什么。
主题
正文 · AI 翻译
Apollo Research于2026年11月16日宣布,其六名评估员将在OpenAI内部工作四个月,调查其模型在训练、评估和内部部署期间是否试图破坏对齐或控制机制。
该团队将考察四个问题:训练是否会激励颠覆行为、评估能否引出这类行为、内部部署期间是否出现颠覆行为,以及与颠覆相关的推理是否可被检测。范围涵盖试图破坏模型自身的对齐或控制,以及其后续模型的对齐或控制。
这一安排旨在将外部审查推进到Apollo以往的评估方式之外——此前的评估在训练后、公开发布前不久进行。Apollo认为,这一时机不足以测试诸如阴谋策划等不对齐行为,也不足以考察内部部署期间的非公开用途。以类似员工权限进行的嵌入式评估旨在克服这些局限。
Apollo将该试点描述为雄心勃勃的第一步,而非完整的嵌入式评估。其一般标准要求:即使开发者试图隐瞒不利信息,也能获取所有相关记录;即使开发者反对,也要向适当的外部受众披露发现;并对约束条件作出充分的公开说明,使读者能够理解一份报告能证明什么、不能证明什么。
受限访问与员工接触
对于训练激励评估,OpenAI承诺提供相关训练代码和数据集、带有可用推理轨迹和奖励的强化学习rollout,以及查询中间模型checkpoint的能力。其他评估主张的详细访问安排仍有待商定。
评估仅限于商定的主张、模型和时间段。OpenAI在认为因技术不可行、安全风险或知识产权保护而合理必要时,可以扣留范围内的项目。它不得仅因材料不利而扣留信息或拒绝接触员工。它必须告知Apollo存在被扣留的项目并提供书面理由,且在OpenAI认为可行且相关时,按类别和大致数量标明被扣留的记录。Apollo可以通过指定的OpenAI联系人请求更广泛的访问权限并对拒绝提出申诉,但不保证访问范围会扩大。
员工接触也受到控制。Apollo可以请求具备特定专业知识的人员并推荐人选,但由OpenAI选定授权参与者,且正式对话必须记录。如果其他员工提出机密信息,Apollo必须停止实质性讨论,并通过其指定的OpenAI联系人转交后续跟进,即使该信息属于本次合作范围之内。
评估员将在OpenAI硬件上工作,使用可被监控的独立渠道。默认情况下,他们无法访问Slack等员工通用渠道。Apollo指出,非正式对话和Slack可能浮现评估员未曾请求的相关信息,它希望在未来评估中将此类信息纳入范围。
公开报告与删改权
Apollo计划发布两份公开报告。第一份将讨论训练对颠覆行为的激励;第二份将涵盖评估、内部部署以及颠覆性推理的可检测性。每份报告都将描述方法、结论、局限性、无法评估的问题以及可公开发表的支持性证据。
OpenAI将审阅报告,并可要求对机密信息进行删改,包括支持结论的证据。它不得删改Apollo的裁决,也不得仅因某项发现不利而要求删改。但它可以删改其认为属于敏感知识产权的证据,无论该证据是否直接支持某项发现。因此,公开读者可能无法查看某一结论背后的全部证据,不过Apollo可以说明删改是否影响了其结论。OpenAI将与其董事会的安全与安保委员会分享未删改的报告。
基于员工讨论的主张需要OpenAI的正式证明,除非Apollo独立证实这些主张。该要求也涵盖授权员工在正式访谈中提供的信息。如果拒绝提供证明,Apollo可以披露其被拒绝一事,并解释这对结论的影响,而无需透露 underlying 机密信息。
元透明度规则
单独的元透明度权利允许Apollo公开描述本次合作的范围和条件、请求和获得的访问权限、被扣留或延迟的材料及给出的理由、被要求移除的报告及其重要性,以及它认为影响其工作的任何压力。Apollo可以在未经OpenAI事先审阅的情况下讨论其访问和发布条款。
Apollo将这些权利视为每次评估合作的最低标准。没有这些权利,即使未报告问题反映的是调查或披露受到限制,也可能显得令人安心。因此,该试点的结论需要结合其对访问和发布限制的说明来解读:同样的裁决可能因评估员能够检查和披露的内容不同而具有不同的分量。
AI 热点