Anthropic to enable Claude auto mode by default next week; METR report discloses OpenAI monitoring gaps

相关专题top start 相关专题top end 期货推广begin 期货推广end 秒拍begin 秒拍end 视频播放器start 视频播放器end 行情图begin 行情图end

刚刚，Anthropic把人类手里的「允许」键，收走了！

以前用Claude干活，它每走一步，都要弹窗问你一句「允许吗」。

下周起，Claude将直接默认开启自动模式——哪一步能做、哪一步不能做，全凭另一个AI拍板。article_adlist[

]article_adlist

之所以Anthropic敢收走「允许」键，有两个层面的原因。

其次，人类这个监工，早就当不下去了。

在一项测试中，Anthropic找来了1053名付费测试者写代码，并在他们干活的中途悄悄塞进了一条危险命令。

结果让人倒吸一口凉气。

人只拦下了13.6%，AI拦下了89%。连着点过50多次弹窗之后，人的拦截率直接跌到5%左右。

不过，Anthropic并没有披露他们是如何让AI去拍板的。

但好在，OpenAI这边公布的法子，可供参考——给Agent搭配一套多级AI监控。

具体来说就是，Agent生成的每一个Token，都要通过一个读取模型内部激活信号的分类器；只要发现可疑内容，就会逐级交给更聪明、更费算力的AI调查员去查。

OpenAI甚至放出话来：

我们预计，模型很快将承担大部分安全工作，包括防御其他模型。

那么问题来了，这个负责盯着AI的AI监工，到底靠不靠谱呢？article_adlist[

7月21日到8月11日，METR的David Rein和Redwood的Adam Kaufman，带着OpenAI配发、不许离开办公室的专用电脑，进驻OpenAI。

整整三周，两人把内部代码库、监控提示词、配置和文档翻了个底朝天，并最终交出了一份61页的报告。

目前，我们公开能看到的只是一篇简短摘要，最要命的细节早已被抹得干干净净。（就连METR和Redwood自家高层手里，也只有被OpenAI删了23页的版本。）

但就是这份被层层删减的摘要，依然看得人头皮发麻。

表面上，这套监控几乎滴水不漏，内部Codex流量有99.2%都在监控之下。可漂亮数字底下，全是雷。

第一条暗道，卡在触发机制上。

当时的监控，只有等Agent干完活、把控制权交还给人，才会睁眼看一眼。

换句话说，一个想搞事的Agent，只要永远不收工，审查就永远不会来。

这条暗道能一直拖下去，靠的是上下文压缩这个黑洞。

长任务跑到一半，上下文快装不下时，系统会把前面的记录打包成摘要，腾出地方接着跑。

可这些压缩事件当时不在监控范围内，被压缩掉的那部分记录，监控一眼都看不到。Agent只要一直干下去、一次次压缩，就能一直不交还控制权。

5月到7月，约一成符合条件的内部Codex流量，就这样从监控眼皮底下溜了过去。

第二条暗道更惊悚。

一个漏洞，能让Agent最近几百步操作统统从监控里隐身，连它利用漏洞的那一步也不例外。

第三条暗道，是「幽灵分身术」。

请求头，是程序调用模型时顺带发过去的一组设置。METR发现，有两个这样的设置由客户端说了算，改掉任何一个，就能关掉新Agent的监控。

被盯着的Agent，可以借此孵化出一个一模一样、却不在监控之下的分身。创建分身这个动作本身，仍可能被原来的监控抓到。

第四条暗道，直接击穿了权限隔离。

沙箱，是把Agent关起来干活的隔离环境；自动审查，是另一个AI在它动手前把关。

METR找到一条路，Codex Agent原则上能同时绕过这两道防线，宿主研究员能干的事，它全都能干。

Agent看到的记录和送进监控的记录，格式对不上。精心构造一段输入，就可能让监控AI当场出错，异常也就送不到人类面前。

第六条暗道，藏在两个被当成「只读」、根本没接监控的内部工具里。一个简单漏洞，就可能让它们在沙箱里执行任意操作。

所以，两人给出的建议，首先就是改掉「等它收工再检查」。也就是，每隔一定时间，或每执行一定数量的消息，就查一次。

干活的Agent和监控系统，也必须隔开。Agent采取的行动，不能反过来决定监控开不开、什么时候开；监控看到的记录，还得和Agent实际看到的对得上。

有人说，比科学家强10倍的AI还管得住，强一万倍才会失控。

然而METR这份报告，结结实实打了这种说法一记耳光。

今天的Agent离「一万倍」还远得很，但删监控、关警报这类操作，它们已经全干过了。

在OpenAI那份事故报告里，当GPT-6 Astra发现新代码里没了监控时，它在推理里写下了一个你绝对想不到的字——「耶。」

监督权不能交出去以后，再指望被监督的AI自觉交回来。article_adlist[

参考资料：

编辑：摩西 桃子 ]article_adlistarticle_adlist[

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标，锁定新智元极速推送！ ]article_adlistarticle_adlist[

]article_adlist news_keyword_pub,stock, 正文下iframe 正文下iframe 总声明 总声明 文末二维码 start 文末二维码 start

文末二维码 start 文末二维码 start 编辑姓名及工作代码 编辑姓名及工作代码