METR 报告：Anthropic 模型能力增速约为此前 1.9 倍，80% 增量来自 AI

11 月 5 日，第三方评估机构 METR 发布一份关于 Anthropic 的调查报告表示：这家公司过去一年取得的基准能力进步，大致相当于此前两年的进步。

从 8 月 12 日到 10 月 29 日，这个机构花费了约 11 周时间进入 Anthropic 内部查看其模型成绩、训练算力、研发效率等资料，并与研究人员访谈。

他们的分析使用了 Anthropic 版综合能力指标 AECI。数据显示，自 2025 年 10 月以后，大模型在该指标上的进步速度约为此前的 1.9 倍，95% 置信区间为 1.5—2.8 倍。

自 2025 年 10 月 7 日起，这个分数从约 15 分 / 年跳到约 29 分 / 年，一年走完了此前约两年的路，量级大致相当于 Claude 2.1 到 Sonnet 4.5。Anthropic 自己的风险报告此前曾假设 Mythos Preview 是单次跃升，之后会回归原来的趋势，然而现在新的模型出现了，新的斜率仍在继续。

放眼全行业，前沿模型的加速只有 1.4 倍。

在访谈里，一个反复出现的现象是：研究人员终于可以试更多想法了。

过去，一个实验可能需要花一两天来实现，时间和计算成本是不可逾越的，很多想法还没来得及验证就被搁置。如今，研究人员可以把多个想法交给 Agent，看看哪些值得继续追下去。

一位研究人员形容，现在自己的工作主要受限于想法和算力，代码已不再是瓶颈。还有人觉得使用 Claude 后，自己仿佛有了博士后和研究生一起推进项目。实验和实现变得便宜，让研究人员变得更加愿意尝试，很多原本被认为不值得投入精力的小实验如今也有机会变成新的研究方向。

METR 的报告还揭开了一部分此前外界看不到的内部进展。他们的分析纳入了三个 Anthropic 还未公开模型，分别以 Model 2、Model 3、Model 4 代称。它们在今年 7 月至 10 月间完成训练。

当前最强的就是这个 Model 4 了（有人猜它是 Claude 6），它在很多常见基准上的分数已经超过 90%。Anthropic 员工在 10 月份内部对其进行了主观估计，投票认为其平均对自己的工作提效达到了约 12 倍。

这些模型还没有发布，甚至不一定会成为公开产品，但它们的存在提醒外界，只看发布会和公开榜单可能无法完整判断 AI 大厂内部正在发生什么。从 2025 年初约 1 倍，到 Opus 4.5 约 2.5 倍、Mythos 5 约 5 倍、Model 4 跳到 12 倍，指数拟合为每年 3.9 倍。

METR 估计截止到今年 10 月，当前 AI 研究加速中的约 80% 估计来自 AI。还有 20% 的非 AI 因素，细节 Anthropic 不让透露。

目前距离让 AI 自主研发下一代模型的完整递归自我改进（RSI）仍有差距。Anthropic 的研究员自己认为，在模型训练最重要的部分，AI 尚未作出高度重要且完全自主的贡献，目前的主要收益仍来自 AI 辅助人类研发。

但 Anthropic 研究员已经把 AI 的大量自主贡献描述为「生命迹象」（signs of life），且有量化分析统计各环节中由 AI vs 人类完成的任务占比，但数据被 Anthropic 删掉了。

只要更强的模型能帮助研究人员更快开发下一代，反馈过程就可能持续增强。RSI 的路径能走多远，取决于尚未自动化的环节，以及算力等资源能否跟上。

在对于近未来的预测上，METR 没有看到未来 12 个月会明显阻断快速进步的瓶颈，但也坦言随着信息增加，他们曾多次改变判断，目前信心有限。

另外，虽然 Anthropic 让第三方机构 METR 进入其内部调查了，但目前给出的 100 页报告经过了他们的大幅删减。最有说服力的证据大多被 Anthropic 自己删掉了。

同日发布的配套审查还呈现了双方在风险表述上的分歧：Anthropic 曾把某项领先指标描述为进步速度「不到两倍」，METR 根据其内部数据算出约 1.97 倍，认为更准确的说法应是「约两倍」。两倍加速涉及 Anthropic 的早期预警阈值。

METR 认为，不能排除截至 7 月 15 日已跨过相关阈值的可能，但多数相关研究人员仍倾向于当时尚未跨过。双方也都认为，当时相关模型的直接灾难性风险较低。

参考内容：

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：关注RSI的机器之心，编辑：泽南，36氪经授权发布。