←新闻详情

Numerama更新于 11月3日 20:19

Anthropic 称或临近 AI 加速研发阈值,承认曾事后才察觉加速

Anthropic pense approcher d’un tournant majeur dans l’IA, mais pourrait ne pas le voir venir

AI 导读

Anthropic 在 11 月 2 日提交给美国 SEC 的 IPO 文件中表示,可能“即将”达到其安全政策中定义的“AI 带来的显著加速进展”阈值,该阈值对应自动化研究使 AI 进展速度翻倍。文件还承认,公司有时是在加速已经发生之后才识别出研发提速,因为许多衡量指标存在滞后;此前 10 月 26 日的初版文件只提到可能事后才发现。Anthropic 计划通过名为“eyes on everything”的内部监控目标加强追踪,目标日期为 2027 年 1 月 1 日,并称安全措施可能随模型进步而更频繁、更严格。

推荐理由

AI 评分 58

Anthropic 在 IPO 文件中承认曾事后才发现研发加速,这层自述让读者看到 AI 自我改进与安全评估之间的时间差。

主题

标签

正文 · AI 翻译

Anthropic 认为,其未来的人工智能模型可能很快就会大幅加速其后继模型的开发。但 Claude 背后的公司承认,并不总能及时发现这些加速,从而面临其安全措施被超越的风险。

如果人工智能发展得太快,以至于其创造者自己都无法跟上,会怎样?这是 Anthropic 如今非常重视的风险之一。在 2026 年 11 月 2 日提交给美国证券监管机构 SEC 的一份财务文件中,该公司估计,其模型的开发可能很快就会跨过一个重要门槛。

这份文件在其首次公开募股项目框架内发布,其中尤其包含一项坦白:Anthropic 承认,自己曾多次在研究的某些加速已经发生之后才将其识别出来。随着 Claude 参与设计其继任者,这一困难可能会变得更加重要。

Anthropic 向 SEC 提交的文件。// 来源:Numerama 截图

Anthropic 认为其 AI 可能很快就会跨过一道门槛

Anthropic 已经在使用 Claude 来加速其研究,尤其是用于编写代码、开展实验和测试其未来模型。该公司由此试图“闭环”:每一代新 AI 都将为下一代 AI 的开发作出贡献,而下一代可能性能更强。这就是递归自我改进的原理。

而这一前景可能正在临近。正如Gizmodo所报道,Anthropic在其11月2日的文件中估计,它可能“即将”达到其安全政策中定义的“可归因于AI的显著加速进展”阈值。这一预测基于其内部对未来模型的估计。

具体而言,该政策的标准之一对应的是:通过研究自动化,使AI进展速度翻倍。例如,这相当于在一年内完成原本需要两年才能取得的进展。

不过,这并非已经实现的壮举。Anthropic明确指出,其当前没有任何模型被认定已跨过这一阈值,而这一预测基于其自身的估计。

如今,智能体们执行任务并在彼此之间委派工作——明天,它们或许能在没有人类干预的情况下训练出自己的继任者。// 来源:Anthropic

“我们有时只有在加速发生之后才识别出它们”

这是文件中最有趣的坦白之一。Anthropic承认,它已经有过在研究出现某些加速之后才察觉的情况。该公司解释说,用于衡量其进展的许多指标都存在一定滞后,这使得实时跟踪变得困难。

“我们确实有过只有在开发节奏的一次重大加速已经发生之后才发现它的情况。”

这一细节是新的。在10月26日发布的首版财务文件中,Anthropic只提到有可能在事后才发现加速。而在11月2日的更新中,它承认这种情况已经发生。不过,它既未说明涉及哪些模型,也未说明这些加速的幅度。

问题不仅在于进展的速度,还在于Anthropic能否对其加以管控。该公司解释说,其模型的发展速度可能超过其开发、测试和实施相应安全措施的能力。

换句话说,Claude可能在其设计者尚未充分评估相关风险之前,就助推创造出更强大的模型。Anthropic尤其提到,如果这一发展超出其评估能力,就可能发生安全事故。

Anthropic的Claude。// 来源:Numerama / Anthropic

为了保持控制,Anthropic希望“对一切保持关注”

面对这些风险,Anthropic考虑大幅加强对内部活动的监控。在此前发布的安全路线图中,该公司提出了一个名为“eyes on everything”的目标,字面意思即“对一切保持关注”。

该公司尤其希望集中记录其关键开发活动的痕迹,并利用人工智能来识别任何可疑行为。这种监控可能涉及员工的行为,也可能涉及模型自身的行为。

目标是检测破坏企图、入侵行为,或对Claude训练过程的操纵。Anthropic计划在2027年1月1日之前落实其路线图中这一部分所规定的各项机制。

不过,该公司承认这些预防措施是有代价的。在其财务文件中,它解释说,随着模型不断进步,安全措施可能会变得更加频繁、更加严格。它已经推迟或限制了某些模型的发布,尤其是在Glasswing项目框架下的Mythos。

这些限制也可能使其在面对不必承受同样约束的竞争对手时放缓研究进度。这对Anthropic来说是一个两难:它既想加速其AI的开发,又声称希望保持对其能力的掌控。

然而,目前没有任何证据能够断言Claude有能力完全独自设计出其继任者,也无法断言所宣布的门槛短期内真的会被跨越。Anthropic的声明仍属于内部预测,写在一份面向投资者的文件中。不过,这一演变仍需密切关注。

探索会员福利

更快、更实用、更独家

零广告、高级阅读功能、AI摘要文章、独家内容等更多内容。

探索Numerama+的众多优势。

订阅Numerama+

本月您在 Numerama 上阅读了 0 篇文章

有一个充分的理由不订阅

并非所有人都有能力为信息付费。

正因如此,我们坚持让我们的新闻对所有人开放。

但如果您有能力,

以下是支持我们工作的三个充分理由:

1 Numerama+ 有助于为所有 Numerama 读者提供免费体验。

2 您将享受无广告阅读、众多高级阅读功能以及独家内容。

3 帮助 Numerama 完成其使命:理解当下,以预见未来。

如果您相信一个免费的互联网,以及让尽可能多的人获得高质量信息,请加入 Numerama+。

订阅 Numerama+

一目了然掌握全部科技新闻

将 Numerama 添加到您的主屏幕,与未来保持连接!

为了不错过任何新闻,请在 Google 上关注 Numerama!

来源

Numerama