←新闻详情

The Decoder更新于 11月6日 22:54

METR 审计称 Anthropic 模型提速约 1.9 倍,或已在 7 月触及自身预警阈值

METR finds Anthropic may have crossed its own AI acceleration warning threshold back in July

AI 导读

METR 在获得 Anthropic 内部研究数据十一周访问权限后估算,自 2025 年 10 月以来 Anthropic 模型测试分数的提升速度约为此前的 1.9 倍,其中约 80% 的加速来自 AI 被用于公司自身研究。按 AECI 综合指标,此前每年约提升 15 点,此后达到 29 点,相当于一年走完过去两年的进度。METR 称真实加速倍数可能在 1.3 到 3 之间,纳入 OpenAI、Google、xAI 后行业整体约为 1.4。Anthropic 对非公开信息拥有单方面删改权并大量使用,METR 认为最有信息量的多数证据被移除;在配套审查中,Anthropic 公开报告称加速“低于 2 倍”,内部未删改版本则隐含 1.97,METR 认为 7 月 15 日可能已触及预警级别。Anthropic 中途取消了关于算力分配的审计部分。

推荐理由

精选AI 评分 88

METR 获准查阅 Anthropic 内部数据后估算其模型提速约 1.9 倍,但关键证据被大量涂黑,读者可据此判断外部审计能验证到什么程度。

主题

标签

正文 · AI 翻译

非营利组织 METR 获得了 Anthropic 内部研究数据十一周的访问权限。其发现是:Anthropic 模型的改进速度大约翻了一倍,而其中约 80% 的加速可追溯到 AI 被用于该公司自身的研究。不过,Anthropic 对最重要的证据进行了删改。

AI 是否正在加速开发更好的 AI,被视为安全辩论中的一个关键早期预警信号。担忧在于,可能会形成一个反馈循环,使模型越来越快地改进其继任者,而根据 METR 的说法,这可能导致“极端且危险能力的突然出现”。Anthropic 在其《负责任扩展政策》中正是将这类加速标记为风险指标:如果 AI 进展的速度因自动化 AI 研究而翻倍,就应触发警告级别。

这正是 METR 着手验证的事情。这家非营利组织研究的内容之一,是 AI 开发者是否会失去对其系统的控制。从 2026 年 8 月 12 日到 10 月 29 日,一个由 2.5 名全职人员组成的团队获得了他们所称的、对未发布模型的基准测试结果、训练指标、员工调查和内部分析的前所未有的访问权限,此外还与 Anthropic 研究人员进行了大约 15 次访谈。METR 没有从 Anthropic 收取任何费用,但出于安全原因在 Anthropic 的设备上工作。

Anthropic 首席执行官 Dario Amodei 最近承诺将外部审计人员引入公司。随后在 10 月,Anthropic 宣布与 METR 合作,涉及“类似员工的访问权限”。据 METR 称,当前的审计是一个范围更窄的独立项目。

两年的进展压缩进一年

根据 METR 的数据,自 2025 年 10 月以来,Anthropic 模型测试分数的提升速度约为 2024 年 3 月至 2025 年 10 月期间的 1.9 倍。该测量基于 AECI,这是一个将多项基准测试综合在一起的复合指标。Anthropic 在一年内取得了此前需要两年才能实现的进展,大致相当于从 Claude 2.1 到 Sonnet 4.5 的跃升。该分析还纳入了三个未发布的模型,它们于 2026 年 7 月至 10 月间完成训练。在 2025 年 10 月之前,Anthropic 的模型每年约提升 15 个 AECI 点;此后,这一速度达到了 29 点。

METR 确信,这一加速并非由训练算力的更快增长所驱动。相反,审计人员估计,当前提速中约 80% 来自 AI 被用于 Anthropic 自身的研究。一名员工在访谈中表示:“现在瓶颈只在想法和算力上,不再受代码瓶颈限制。”

其他人报告称,过去需要一到两天才能搭建好的实验,现在“几乎免费”。在 2026 年 10 月的非正式 Slack 投票中,员工平均表示,最新的内部模型让他们的生产力大约提高了十二倍。METR 将这些自我评估视为“非常宽松的证据”,称其不具代表性,且很可能高估了实际收益。

自我报告的生产力提升从使用 Claude 3.7 Sonnet 时的 1.2 倍上升到使用内部 Model 4 时的 12 倍。 | 图片:METR[ AI 尚未实现完全自主的研究。加速主要来自 AI 作为助手发挥作用,但已有“生命迹象”表明,独立贡献可能很快发挥更大作用。METR 未发现会在未来十二个月内拖慢这一步伐的瓶颈,这意味着加速在未来一年持续增长存在“重大风险”。

巨大的不确定性与异议声音

METR 还强调这些结果有多么不精确。真实加速倍数可能低至 1.3,也可能高达 3。若将 OpenAI、Google 和 xAI 的模型纳入考量,全行业数字降至仅 1.4,这可能是因为 Anthropic 在 2025 年落后于竞争对手,而追赶效应正在扭曲数据。

Anthropic 内部的观点也并不一致。一位研究员认为 AI 对生产力提升的贡献仅占 15% 到 20%,并且不信任同事的自我报告。另一位则认为新员工是近几个月最重要的单一因素。

被删改的证据削弱了审计

Anthropic 对所有非公开信息拥有单方面删改权,并大量行使了这一权利。据 METR 称,审计人员评为最具信息量的证据大部分被删除,包括对未来模型的预测、按训练步骤的细分以及瓶颈分析。Anthropic 将删改描述为“旨在移除可能加速其他 AI 开发者的机密信息”。

结果是,公众不得不依赖 METR 的判断,该组织写道,这“远比理想情况更甚”,而任何关于证据透明度的讨论都无从谈起。METR 报告中有一张图表相应地用大号字母标出了“FAKE DATA”字样。

Anthropic 中途叫停了算力分配审计

在配套审查中,METR 还审视了 Anthropic 于 2026 年 8 月发布的风险报告。在该报告中,公司公开表示加速“低于 2 倍”。然而,内部未删改版本隐含的数值为 1.97,且 Anthropic 自己也称阈值已被跨越是“可能的”。METR 认为预警级别可能早在 7 月 15 日就已达到,并指责公开报告既低估了加速幅度,也低估了围绕它的不确定性。

METR 目前认同 Anthropic 的评估,即急性灾难性风险为“低”,但该组织无法排除未来六个月内再次出现急剧加速的可能性,而这可能迅速推高风险评级。

METR 原本还应当核查 Anthropic 如何在能力研究与安全研究之间分配算力。Anthropic 在项目进行到一半时取消了这部分工作,称希望先聚焦风险评估,日后再重新审视算力审计。

“AI 2027”情景背后的研究者 Daniel Kokotajlo 在 X 上作出尖锐回应,认为审计算力分配正是让减速承诺可被验证的基础。

来源

The Decoder