METR 复现 GDM 研究:Claude、GPT、Gemini 都难以躲过 CoT 监控
METR 复现并扩展了 Google DeepMind 论文(Emmons 等)第 5 节的实验,用 Claude 4 Sonnet、Claude 3.7 Sonnet、GPT-4o 作为 actor 模型,GPT-4o、GPT-4o-mini、o3、Gemini 2.0 Flash、Gemini 2.5 Pro 作为监控模型,测试模型能否在掩盖真实学科推理的同时躲过监控。结果显示,开启推理模式后,模型的推理轨迹几乎 100% 会先说出自己的掩盖计划,从而被监控模型直接抓住;在需要 CoT 才能解题的 152 道 GPQA 扩展题上,模型也难以在不损失准确率的情况下躲过监控。由于原论文未提供源码,METR 用 Inspect 开源复现了第 5 节,代码和对话记录已发布在 GitHub。
匹配字段摘要

