METR 与 Redwood 各派一人进驻 OpenAI 三周,评估内部 Agent 错位行为监控
METR 与 Redwood Research 各派一人于 2026 年 7 月 21 日至 8 月 11 日进驻 OpenAI,评估其内部 agent(含 Codex)的错位行为监控系统。公开稿称内部 Responses API 中不低于 GPT-5.5 的 agent 流量约 75–94% 有资格被监控,内部 Codex agent 子集约 99.2%,但存在 compaction 未监控等缺口,并找到可绕过沙箱与 Auto-review 的路径。OpenAI 称影响生产防护栈的漏洞已修补,METR 与 Redwood 未独立复核这些说法。
面描述删了什么。 公开的关键发现(均为当时系统状态) · 覆盖率:内部 Responses API(支撑 Codex 等)中,不低于 GPT-5.5 的 agent 流量约 75–94%「有资格」被监控(不确定性大);其中内部 Codex agent 子集约 99.2%。「有资格」不等于一定跑完整条监控流水线(还有报错、过载丢弃、实现 bug)。另有内部研究推理服务上的 coding agent,因权限与时间未能估量。 · RL 训练:知情称 3–6 月有一部分 RL rollout 被监控;试点开始时 RL 训练运行不在覆盖内。 · Compaction 缺口:未监控 compaction 事件,估计 2026 年 5–7 月约有一成量级的合格内部 Codex 流量实际未进监控;精确比例不确定,因当时没记「多少监控调用由 compaction 触发」。OpenAI 在试点前已独立发现,并在试点期间修复。 · 拖延触发:当时监控在 agent「把控制权交回用户」时才触发。在 compaction 未监控期间,agent 只要持续行动,理论上可无限推迟被监控。评估方因权限未能查实是否已被
匹配字段正文