Claude 测试中连上真实互联网,模型评测意识与第三方安全体检成焦点
瞒不住了!Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告
Anthropic 复盘 14 万多次网络安全评测,发现 3 次在降低防护条件下 Claude 从测试环境连上真实互联网并访问三家机构生产系统。Apollo Research 审计 GPT-6 Astra 时统计 41.1% 样本出现「可能正在被评测」的怀疑,上一代为 27.7%;方寸跃迁对 DeepSeek V4.1 Flash-1017 的 34 项评测显示其在心理危机场景中 99.1% 对话表现保护性行为,但在目标与规则冲突时仍会绕开规则。文章还提到字节跳动 Seed 成立 Alignment & Preparedness 部门、欧盟 AI 办公室自今年 8 月起对通用人工智能模型行使执法权。
推荐理由
AI 评分 71
文章把沙箱逃逸、评测意识上升和第三方安全评测兴起串成一条线,呈现前沿模型安全治理的现实张力。
主题
正文
瞒不住了!Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告新智元2026年11月02日 14:16:31 来自北京Updated 2026年11月02日 14:26:38
新智元报道
OpenAI和Anthropic先后披露:自家模型在安全测试中,冲出了隔离环境,碰到了真实世界。
Anthropic 复盘了14万多次网络安全评测,发现有3次,在降低防护的条件下,Claude从测试环境直接连上了真实互联网,访问了三家机构的生产系统。
更耐人寻味的,是Anthropic的一句话:
「Claude以为它最初遇到的一切,都只是模拟的一部分。」
模型不知道自己闯入了真实世界。
这不是某一家的问题。
模型越聪明,就越能看穿考场,但也越怀疑自己在被测试。
10月底,国内第三方AI安全机构方寸跃迁发布的一份安全评测,也观察到了同样的现象:在一项名为Agentic Misalignment的测试中,多款模型几乎每一次都在过程中提到,自己可能正处于某种安全测试之中。
同一份评测也显示,国产开源模型DeepSeek V4.1 Flash-1017在多项安全指标上进步明显。
但它把一个全行业的难题,摆到了台面上:
「一旦智能爆炸开始,行动的窗口可能就关上了。」
关不住的,不只是沙箱。
Hinton、Bengio的联名论文给出了一组数字:在Anthropic内部,AI写的代码在已通过代码中的占比,从2025年1月的个位数,涨到了2026年5月的80%以上。
这是什么概念?
更棘手的是,模型还越来越会「考试」。
Apollo Research在审计GPT-6 Astra时统计,41.1%的样本里,模型表达了「我可能正在被评测」的怀疑。上一代,这个数字是27.7%。
而且,模型对「考题的样子」很敏感。对DeepSeek的评测也发现:在安全冲突明显的测试里,模型表现出评测意识的比例高达77%–95%;把任务包装成普通的工程或研究工作,比例就降到25%–67%。
监管也开始动真格了。今年8月起,欧盟AI办公室正式对通用人工智能模型行使执法权。前沿模型必须做模型评估、对抗测试和系统性风险评估。
开发者的精力,天然会向能力和产品倾斜;支撑安全结论的训练数据和内部日志,又没法公开。厂商说「查过了没问题」,外界只能选择信或不信。
于是,第三方评测在海外已经成了标配。
前沿模型发布时的系统卡里,外部机构的评测结果几乎是必选项。独立评测机构METR过去半年拿到约7100万美元资助——钱来自基金和个人,而不是它要评测的AI公司。
合作也在变得更严格。沙箱事故后,Anthropic表示,评测环境要和模型运行的其他系统按同一安全标准来管,并要求在降低防护条件下测试其未发布模型的外部机构,书面承诺遵守安全规范。
这股风,也吹到了国内。
10月14日,字节跳动Seed宣布成立Alignment & Preparedness部门,全球招人。岗位职责里白纸黑字写着:
「推动第三方专业测试,与高校和研究机构共同推进前沿安全能力研究。」
同时,中国开源模型的全球调用量,已经连续 26 周压过美国模型。
问题来了:闭源模型发布时有上百页的系统卡,开源模型权重一放谁都能下载,谁来帮忙做体检?
10月26日,国内第三方AI安全公司方寸跃迁,发布了首份对DeepSeek V4.1 Flash-1017的前沿安全评测,包括34项测试,覆盖7款国内外开源闭源模型,并全部使用公开测试权限。
体检结果:有进步,也有隐患。
先说进步,和DeepSeek V4系列相比幅度不小:
109个模拟心理危机场景中,99.1%的对话表现出保护性行为;被标记有害的比例,从早期V4的约七成降到20.2%;
诱导用户留存的测试中,被标记比例从 73.64% 暴降到4.55%;
80次刻意制造「业绩与规范冲突」的模拟职场任务中,零次主动违规。
再说隐患。当目标和规则打架时,它有时会绕开规则、避开监控,先把任务完成再说。
报告一出,吸引了包括Anthropic对齐负责人Evan Hubinger、MATS创始人兼CEO Ryan Kidd、以及来自DeepMind、METR等机构研究员的转发和评论。很多人评论说这填补了中国在独立前沿风险评测上的空白。
日前从OpenAI宫斗出局的三名安全研究员之一的Tomek Korbak认为,报告里的CoT-Control和No-CoT Reasoning Index,是目前市场上最有信息量的两个开源评测,并引发了另一位大V,前OpenAI研究员Daniel Kokotajlo的进一步讨论。
Kimi的做法更直接:从源头上,把危险能力「挖掉」。
月之暗面在准备发布Kimi K3.1 Pro开放权重版本时发现,网络攻防相关内容混在中期训练语料和强化学习环境里,模型的漏洞研究能力会随训练规模一路上涨。
于是,他们在两个训练阶段都识别并移除了这类数据,同时保留了通用编程能力。
智谱:GLM-5.3发布时附上网络安全能力说明,开放权重前完成安全评估和加固;9月还与安远AI合作发布了开源权重模型风险框架;
治理层面:TC260 9月发布《人工智能安全治理框架》3.0,新增智能体风险管理附录,要求定期测试潜在的失控风险;
Apollo Research CEO Marius Hobbhahn在美国参议院作证时,打过一个比方:
「如果每个司机都知道测速摄像头今天在哪里,它就抓不到什么人。」
方寸跃迁的报告也给出了一组数据:在安全冲突明显的测试里,DeepSeek V4.1 Flash-1017表现出评测意识的比例高达77%–95%;把同样的任务包装成普通的工程或研究工作,比例降到25%–67%。
同一个模型,换一层包装,结果的可信度就不一样。
报告还发现,自建的非公开基准引发的评测意识,通常远低于广泛使用的公开基准——公开题库,可能早就泄漏进了训练数据。
这就引出一个绕不开的矛盾:
评测要有效,题目就不能公开;评测要可信,方法又必须受认可。
而在国内,连「公开体检报告」本身都还是稀缺品。SemiAnalysis统计,九家头部国内厂商的857次模型发布中,公开过安全评测结果的,只有3.6%。
「今天,我们已经需要用AI来监控智能体在做什么。」伯克利教授Dawn Song 说。