METR 评 Anthropic 2026 年 8 月风险报告「自动化 R&D 风险」章节

删节说明：作为本次评估的一部分，Anthropic 有权对本文中任何非公开信息进行删节。按照我们的透明度原则，我们有权披露 Anthropic 是否行使了删节权，以及我们的任何发现是否在很大程度上依赖于被删节的信息。所有对我们的结论具有重要意义的删节均在下文报告中说明。

执行摘要

我们同意 Anthropic 的观点，即 7 月 15 日的模型带来的灾难性风险较低，但我们认为，这些模型在当时很可能已经越过了其早期预警阈值。

METR 审查了 Anthropic 2026 年 8 月公开风险报告中“自动化研发带来的风险”一节。1 我们开展此次审查，是作为一项针对 AI 研发加速的高权限评估的一部分；在该评估中，Anthropic 分享了一份非公开版本的风险报告以及大量其他非公开数据。在本次审查之外，我们还发布了一份关于 Anthropic 的 AI 研发加速的整体评估。该评估由与本次风险报告审查相同的 METR 员工完成。

总体而言，我们同意 Anthropic 的观点：截至 7 月 15 日，内部部署的模型直接自动化关键领域研发、或因能力进展加速而引发严重灾难性风险的可能性较低。然而，报告声称这些模型尚未越过其早期预警阈值，这一说法依赖于一些可争议的判断，而这些判断并未在公开报告中得到清晰传达。尽管参与本项目的 METR 研究人员和 Anthropic 的相关员工都倾向于认为该阈值尚未被越过，但我们认为它很可能已经被越过，并且我们认为公开报告总体上低估了当时正在发生的加速程度。

在本次审查中，我们首先概述我们对 Anthropic 风险报告的理解，包括其威胁模型、早期预警阈值和关键主张。然后，我们描述我们对这些关键主张和结论的评估。最后，我们分享本次风险报告审查过程的细节（有关过程和访问权限的更多细节可在我们的整体审查中找到）。

Anthropic 风险报告概述

Anthropic 的 RSP 为“关键领域的自动化研发”设定了两项能力阈值。

根据 Anthropic 的 RSP v3.4，自动化研发阈值由以下两个条件中的任一条件触发：

完全替代阈值：如果他们开发出一个能够“以具有竞争力的成本（即在 5 倍以内）完全替代我们全部研究科学家和研究工程师”的模型。

2 倍加速阈值：如果由于可能与 AI 研发自动化相关的原因，AI 进展速度出现“急剧加速”。2 这在 RSP 中有更详细的定义，但细节对我们的批评并不关键。

（请注意，尽管为清晰起见，我们在本报告余下部分为这些阈值起了名称，但它们在 RSP 中并没有名称。）

风险报告认为，完全替代阈值尚未被越过，因为模型目前并未替代人类。

风险报告认为，模型目前并未替代 Anthropic 的全部员工，因为尽管 Anthropic 有很强的动机尽可能用模型替代研究人员，但研究人员仍在 Anthropic 完成工作。

“我们相信，如果模型能够替代我们整个研究团队的技术工作——即使成本很高——这一点对我们来说会是显而易见的；而即使在我们有强烈动机的情况下仍未进行这种替代，这一事实就是反对我们的模型具备这种能力水平的证据。”

简而言之，Anthropic 竭力尝试用模型替代研究人员，但研究人员仍然不可或缺。他们还提供了基准测试证据，但我们认为，与这一直接观察相比，该证据不那么重要，也更不确定。

风险报告认为，2 倍加速阈值尚未被越过，因为能力指标和先行指标显示加速幅度低于 2 倍，且推动这一加速的因素并非 AI。

风险报告描述了三条主要证据，表明他们并未越过 2 倍加速阈值：

先行指标中的加速有限：“我们的先行指标指向一幅从 2025 年初至年中开始出现显著加速的图景，尽管加速幅度低于 2 倍”

将这一加速归因于 AI 的程度有限：“我们相当确信，2025 年的加速应归因于我们使用 AI 模型之外的因素，不过我们也相信，我们的 AI 模型是更快的趋势得以持续到覆盖日期的一个关键因素。”

反对 AECI 持续加速的证据薄弱：Anthropic 报告称，仅看到薄弱证据表明 AECI 出现了一次性跃升，且该跃升应归因于非 AI 进展，而非持续加速。

风险报告将 2 倍加速阈值描述为早期预警，而非高风险的直接证据。

8 月风险报告对 2 倍加速阈值的描述如下：

“我们的RSP中设定的风险阈值——即进展速度在AI加速前水平的基础上翻倍，且可归因于AI研发自动化——起到的是潜在早期预警的作用，而不是威胁已经实现的证据。”

他们没有给出一个能表明风险已高的精确阈值，但他们的威胁模型描述了若干示例性情景：

“威胁：我们相信，AI模型在未来几年内可能具备广泛超越人类的能力。尤其是，推进关键领域研发所需的全部或大部分工作——从机器人技术到能源，到网络战，再到AI研发本身——可能变得可自动化。

如果这一判断正确，可能带来巨大收益，但这些收益会伴随若干不同但相关的担忧：

某些技术领域的足够快速进展，可能改变国家内部和国家之间的权力结构。例如，如果一个威权政权在AI上建立起对世界其他地区自我强化的领先优势，这种领先可能累积为科学和技术上的重大优势——进而可能转化为发动战争、监控公民和/或在长期内运用极其强大技术的能力方面非常突然且破坏性的进步。

如果AI模型在高度自动化关键领域研发的同时发展出危险目标，它们可能通过利用新技术及其对技术的获取渠道造成无界伤害——直至并包括人类完全失去对文明的控制。

如果AI可用于自动化AI研发本身，结果可能是AI进展的极端加速，从而带来非常广泛的一系列风险，包括但不限于本报告所讨论的风险。”

基于这些描述以及与Anthropic员工的交谈，我们将“低/中/高”的总体风险评级理解为：当时模型直接促成上述灾难性担忧的风险，而不是模型越过其RSP阈值的风险（尽管我们认为这一点本可在报告中表述得更清楚）。

Anthropic的结论是，截至7月15日，这一威胁模型带来的风险为“低”。

因此，Anthropic的结论是总体风险为“低”，因为他们认为：

其阈值不太可能被越过，并且

即使其阈值被越过，也可能不足以造成其威胁模型所描述的那类灾难性风险。

这被总结为：

“低。我们不认为我们的模型在这一威胁模型上满足任一RSP标准。然而，我们对这一评估的信心低于此前风险报告中的信心，因为我们最具体的基于任务的评估已经‘饱和’——即它们不再能捕捉模型能力的增长——并且因为我们正看到潜在加速的早期迹象。”

METR的评估

我们认为，风险报告关于全替代阈值尚未被越过的论证总体上令人信服。

Anthropic所描述的全替代阈值是一个很高的门槛，我们同意：如果其截至7月15日的模型具备这种能力，他们很可能会注意到其研究自动化方面出现了更大的进展。

与Anthropic类似，我们对这一说法的信心远低于过去，因为缺乏高置信度的、未饱和的基准来证明那些对自动化AI研发似乎至关重要的能力局限。此类基准证据的缺乏使我们更加担心：尽管模型已经获得或非常接近获得所需能力，但对齐、工具、监督或激发方面的问题正在阻碍自动化。

我们认为，公开风险报告关于2倍加速阈值尚未被越过的论证被夸大了，并认为该阈值在7月15日时已被越过是可能的。

METR和Anthropic的大多数相关研究人员倾向于认为该阈值在7月15日尚未被越过，但我们认为它已被越过是可能的。我们认为，公开风险报告关于2倍加速阈值的结论似乎过于自信，并且依赖于公开报告未清楚传达的判断性取舍。

特别是，我们认为公开风险报告低估了AECI和先行指标中加速的证据，也低估了未删节内部报告中就反事实加速所表达的不确定性。

主张1：先行指标中的加速有限。

公开风险报告｜内部风险报告

“我们的先行指标指向一幅从2025年初至年中开始出现显著加速的图景，尽管加速幅度低于2倍。”

“在我们对当前[已删节]进展速度（[已删节]×/年）的中心估计下，即使我们将观察到的全部加速都归因于AI辅助，[已删节]进展速度也尚未翻倍。”

METR 对这句话的说明：由[已删节]×/年所隐含的加速率为 1.97。1.97 这一数字并未出现在内部报告中；这是我们的计算，它将内部报告对上述当前进展速度的估计与内部报告另一处对历史进展速度的估计结合起来。

我们认为，公开报告的读者会把“低于 2 倍”这一说法理解为意味着一个明显低于 2 的估计值；因此，内部风险报告的数字隐含 1.97 这一点令人意外。更恰当的描述似乎是“大约 2 倍”。

METR 自己对这些先行指标的分析（已从本报告中删节）发现了一系列合理的估计值，介于 1.3 和 2.8 之间。我们对于衡量这些数值的正确方法存在相当大的方法论上的不确定性，我们在整体报告完整（未删节）版本中对此进行了讨论。正如该报告所述，Anthropic 删节了这一讨论。

METR 倾向的表述：

“先行指标显示出显著的加速，速率介于 1.3 和 2.8 之间，具体取决于定义和时间段。我们不确定这些先行指标与下游能力之间的关系。”

主张 2：这种加速对 AI 的归因有限。

公开风险报告｜内部风险报告

“我们相信，我们内部的 AI 研发工作在没有 AI 辅助的情况下会显著更慢，但尚未达到 2 倍（尽管我们不确定，且衡量很困难）。”

“我们相当有信心将 2025 年的加速归因于我们使用 AI 模型之外的因素，不过我们也相信，我们的 AI 模型是更快的趋势持续到覆盖日期的一个关键因素。”

“总体而言，我们预计[已删节]的端到端增长比没有 AI 辅助时快略低于两倍。”

“相对于无辅助的反事实情形，我们对 AI 研发进展加速倍数的中心估计略低于 2 倍，针对[已删节]。……我们猜测这更可能是高估而非低估；尽管如此，我们存在足够的不确定性，以至于我们总体上确实超过这 2 倍似乎也是合理的。”

虽然第一段确实表达了对总体加速的不确定性，但公开风险报告似乎暗示了相当高的信心，即其中只有较小一部分可归因于 AI，即使截至 7 月 15 日的覆盖日期也是如此。与此同时，内部风险报告将截至 7 月 15 日可归因于 AI 的总体反事实加速超过 2 倍描述为“合理”。

根据我们在整体报告中审查的证据，我们大体上同意内部风险报告当时对证据的评估，尽管直接估计反事实加速非常具有挑战性。

METR 倾向的表述：

“我们相当有信心将 2025 年发生的一些加速归因于我们使用 AI 模型之外的因素，不过我们也相信，我们的 AI 模型是更快的趋势持续到覆盖日期的一个日益重要的因素。

根据对研究负责人的访谈和非正式调查，我们猜测 AI 能力的总体进展仍比没有 AI 辅助时快略低于两倍。我们存在足够的不确定性，以至于我们总体上确实超过这 2 倍似乎也是合理的。”

主张 3：反对 AECI 持续加速的证据薄弱。

公开风险报告｜内部风险报告

“Claude Mythos 5 高于历史得分趋势线的幅度与 Mythos Preview 相似，这是反对整体模型能力趋势随时间大幅上升的薄弱证据。

基于有限的数据，Model 2（未在此图中显示）在 AECI 上似乎比 Claude Mythos 5 高约 1.5 分，误差条很大（增幅小于从 Claude Mythos Preview 到 Claude Mythos 5 的增幅）。”

“鉴于并非我们所有模型都经过端到端训练以最大化每 FLOP 的智能（事实上，它们中没有一个专门为此目标进行优化），存在一个问题：我们应该认为这个[AECI]数字具有多少‘有效分数’，以及明显的强线性趋势是否像看起来那样可靠。”

“这四次运行中最近且能力最强的一次……参与了 Model 2 的训练流程，但我们不认为该模型的性能反映了我们预期从这一基础模型衍生出的后续模型所能达到的性能（我们预计这些后续模型将是对 Mythos 5 的更显著改进）。”

公开风险报告指出 Model 2 的得分误差条很大，但未说明内部风险报告中的限定条件，即 Anthropic 预计同一基础模型的后续快照会取得更高分数。事实上，Model 2 的后续快照在 AECI 上的提升幅度与 Mythos 5 相对于 Mythos Preview 的提升幅度大致相同。

公开风险报告还描述了在 Mythos Preview 时期发现支持 AECI 一次性跃升的薄弱证据，但我们不同意他们对这一点的强调：

当时，AECI 数据仅略微支持跃升，且不能排除持续加速。如果我们沿用风险报告中使用的数据，估计的加速约为 1.5 倍。风险报告发布后，Anthropic 增加了来自更多基准的数据，使用同一组模型估计的加速为 1.9 倍。

我们认为，仅依赖为最大化能力而最直接优化的较少数模型更简单、更有原则，并且完全无法区分这两种假设。3

AECI 的持续加速将与领先指标中观察到的持续加速更为一致。正如我们在整体评估中所述，我们认为公开风险报告发布以来的证据支持自 2025 年 10 月以来持续加速。

METR 的首选表述：

“鉴于当前的 AECI 数据，我们无法自信地区分能力的一次性跃升与持续加速。然而，鉴于上述领先指标的加速，持续加速似乎更为简约。

另外两个因素使当前的 AECI 趋势难以解读：

构成这一 AECI 趋势的部分模型并非仅针对能力进行优化，这使得难以解读该趋势具有多少‘有效分数’。

Model 2 尚未完成训练，因此我们预计后续快照会带来性能提升。

未来的 AECI 测量可能会澄清是否存在一次性跃升或持续加速。”

尽管如此，我们普遍同意，7 月 15 日的模型因自动化研发而带来的直接灾难性风险较低。

尽管我们认为，鉴于上述证据，7 月 15 日可用的模型为 AI 研发进展提供了 2 倍反事实加速是合理的，但要促成 Anthropic 上述关切情景中描述的那类灾难性风险，很可能需要显著更大的加速。我们也不认为当时的模型能够完全自动化 AI 研发或其他关键领域的研发。因此，我们同意，对于当时可用的模型，这些风险为“低”。

然而，正如我们在整体评估中所述，我们预计 AI 对研发的增强将继续增长，并且我们不能排除未来 6 个月内能力进展速度进一步大幅加速的可能性。这可能迅速导致这些领域出现“高”风险。

流程细节

关键术语。

在 METR 开始与 Anthropic 合作撰写 AI 研发加速评估后不久，Anthropic 请 METR 额外撰写对其 8 月风险报告的审查，METR 同意了。审查的确切范围从未正式确定，而是在合作过程中经双方协商确定。

利益冲突披露。

参见 METR 对 Anthropic AI 研发加速的评估。

合同细节。

参见 METR 对 Anthropic AI 研发加速的评估。

时间线。

8 月 12 日：Anthropic 开始与 METR 共享机密信息。

8 月 14 日：Anthropic 与 METR 共享 8 月 AI 研发未删节风险报告。

9 月 18 日：METR 向 Anthropic 交付风险报告审查初稿以征求意见。

9 月 22 日至 10 月 28 日：METR 对风险报告审查进行迭代。

10 月 28 日：Anthropic 给出风险报告的最终删节指导。

10 月 29 日：Anthropic 批准删节后的报告。

其他披露。

参见 METR 对 Anthropic AI 研发加速的评估。

AEF-1 检查清单。

参见 METR 对 Anthropic AI 研发加速的评估。

作者：Tom Cunningham、Nate Rush、Parker Whitfill 和 Hjalmar Wijk。↩

引用 RSP v3.4 的表述，其操作化定义为：“我们认为情景 (2) 已发生，当 (a) 我们观察到或预期 AI 总体能力的进展速度是我们在 AI 对 AI 研发无显著贡献的情况下所预期的速度以及所观察到的最快扩展进展速度 [fn2] 的两倍 [fn1]，并且 (b) 这种翻倍有相当大一部分可合理归因于研究和/或工程的自动化（而非其他因素，如人员增加、算力增加或一般生产力提升），以至于 AI 进展趋势的延续似乎可能导致更大的加速。”

[fn1] “进展速度翻倍”意味着“一年内取得的进展相当于基线情况下两年所见的进展”。例如，如果基线进展涉及算力扩大 3 倍和算法效率提升 3 倍（即 9 倍“有效扩展”），那么“进展速度翻倍”将意味着约 81 倍的有效扩展。这与“研究人员生产力翻倍”不是同一概念，因为投入翻倍并不一定使进展速度翻倍。

[fn2] 至少跨越三个模型世代。↩

我们仅基于为最大化能力而最直接优化的少数模型进行了朴素外推，假设持续加速。与基于所有数据点的外推相比，这一外推使我们更准确地预测了未来的 AECI 分数。↩