←新闻详情

One Useful Thing更新于 10月27日 19:24

AI 能力的形状:锯齿前沿、瓶颈与反向突出部

The Shape of AI: Jaggedness, Bottlenecks and Salients

AI 导读

Ethan Mollick 撰文指出,AI 能力仍呈锯齿状分布,记忆等弱项长期没有明显改善,而系统整体受最差环节制约。他以 Google 的 Nano Banana Pro 为例,说明图像生成质量曾是瓶颈,突破后 NotebookLM 可直接把资料生成整页幻灯片,并认为判断 AI 走向应关注瓶颈而非基准分数。

推荐理由

AI 评分 55

作者用锯齿前沿与瓶颈迁移的框架解释 AI 能力为何不均衡,并借 Nano Banana Pro 说明瓶颈一旦突破会带来什么。

主题

标签

正文 · AI 翻译

Ethan Mollick 2025年12月20日 709 83 83 分享 在2023年那个古老的AI时代,我和合著者发明了一个术语,用来描述AI的一种奇特能力:它能把某些工作做得极其出色,却把另一些工作做得极其糟糕,而这种表现与我们人类对任务难度的直觉并不十分吻合。我们称之为AI能力的“锯齿前沿”,它至今仍是AI的一个关键特征,也是困惑的无尽来源。一个AI怎么能在鉴别医学诊断上超越人类,或者擅长非常难的数学(是的,它们现在真的很擅长数学,直到最近还著名地处于前沿之外),却仍然在相对简单的视觉谜题或经营自动售货机上表现糟糕?AI的确切能力往往是个谜,所以AI比看起来更难使用也就不足为奇了。

我认为锯齿状在未来仍将是AI的一个重要部分,但对于它意味着什么,人们的看法并不那么确定。Tomas Pueyo在X上发布了这张病毒式传播的图片,概述了他的愿景。在他看来,不断扩大的前沿将超越锯齿状。当然,AI在某些事情上表现不佳,而且即使它不断进步,也可能仍然相对较差,但人类能力的集体前沿基本是固定的,而AI能力正在快速增长。如果AI仍然变得比任何人类都更强,那么它在经营自动售货机上相对较差又有什么关系呢?

虽然未来总是充满不确定性,但我认为这种构想忽略了关于工作和技术本质的几个关键方面。首先,前沿确实非常锯齿状,而且可能正是因为这种锯齿状,我们会得到超级聪明的AI,但它们永远无法与人类任务完全重叠。例如,锯齿状的一个主要来源是,LLM不会记住新任务并以永久的方式从中学习。许多AI公司正在寻求解决这个问题,但这个问题可能比研究人员预期的更难解决。没有记忆,AI将难以完成许多人类能做的任务,即使在其他领域超越人类。Colin Fraser画了两个例子,说明这种AI与人类的重叠可能是什么样子。你可以看到,AI在某些领域确实超越人类,但在其他领域,它要么远低于人类水平,要么根本不重叠。如果这是真的,那么AI将创造与人类互补合作的新机会,因为我们双方都带来了不同的能力。

这些是概念图,但一群科学家最近试图绘制AI能力的形状,发现它正在不均衡地增长,正如锯齿前沿所预测的那样。阅读、数学、常识、推理——这些都是AI正在快速改进的方面。但正如我们所讨论的,记忆是一个弱点,几乎没有改善。更好的提示或更好的模型(GPT-5.2比GPT-5好得多)可能会改变前沿的形状,但锯齿状依然存在。

而且即使少量的锯齿状也可能产生问题,使超级聪明的AI无法自动化一项任务。一个系统的功能只取决于它最差的组件。我们称这些问题为瓶颈。有些瓶颈是因为AI在某些任务上顽固地低于人类水平。LLM视觉系统在读取医学影像方面还不够好,所以它们还不能取代医生;LLM在本应反驳时却过于乐于助人,所以它们还不能取代治疗师;幻觉虽然变得不那么常见,但仍然存在,这意味着它们还不能完成需要100%准确性的任务;等等。如果前沿继续扩大,其中一些问题可能会消失,但弱点并不是瓶颈的唯一形式。

有些瓶颈是因为与能力无关的流程。即使AI现在能比传统方法快得多地识别有前景的候选药物,临床试验仍然需要真实的人类患者,而招募、给药和监测患者都需要实际时间。FDA仍然要求对申请进行人工审查。即使AI将好药物想法的产生速度提高十倍或更多,制约因素也变成了批准速度,而不是发现速度。瓶颈从智能转移到机构,而机构以机构的速度运转。

图片来自Google的Nano Banana Pro。稍后详细说明!而且即使在AI几乎完全超越人类的领域,边缘情况也可能需要人类。举个例子,一项研究使用AI重现Cochrane综述,这些著名的深入研究元研究综合了许多医学研究,以确定某个主题的科学共识。一组研究人员发现,GPT-4.1在得到适当提示和支持后,“在两天内重现并更新了整整一期Cochrane综述(n=12),大约相当于传统系统综述工作12个工作年。”AI筛选了超过146,000条引用,阅读了全文论文,提取了数据,并进行了统计分析。它在准确性上实际上超过了人类审稿人。奇怪的是,许多艰苦的智力工作——寻找相关研究、提取正确的数字、综合结果——都稳稳地处于前沿之内。但AI无法访问补充文件,也无法给作者发邮件索取未发表的数据,而这些是人类审稿人经常做的事情。这占综述错误不到1%,但这些错误意味着你无法完全自动化这个过程。十二个工作年变成两天,但前提是有一位了解科学实际运作方式的专家来处理边缘情况。

这就是模式:锯齿状造成瓶颈,而瓶颈意味着即使非常聪明的AI也无法轻易替代人类。至少目前还不能。这在某些方面可能是好事(防止快速失业),但在其他方面令人沮丧(使得我们难以像期望的那样加速科学研究)。瓶颈还使AI公司的工作集中在让AI在被卡住的方面变得更好,就像数学能力一旦成为明显的障碍就迅速提高一样。历史学家托马斯·休斯对此有一个术语。在研究电力系统如何发展时,他注意到进步常常停滞在某个单一的技术或社会问题上。他称之为“反向突出部”——阻碍整个系统向前跃进的单一技术或社会问题。

反向突出部 瓶颈可能造成一种印象,即AI永远无法做某件事,而实际上,进步是被单一的锯齿状弱点所阻碍。当这个弱点成为反向突出部,而AI实验室突然解决了这个问题时,整个系统就能向前跳跃。

上个月最有力的例子是谷歌的新图像生成AI,Nano Banana Pro(是的,AI公司仍然不擅长命名)。它结合了两项进步:一个非常好的图像创建模型和一个非常聪明的AI,后者可以帮助指导模型,按需查找信息。例如,如果我向Nano Banana Pro提示我的水獭测试的终极版本:“科学家是水獭,他们正在用白板解释ethan mollicks的水獭在飞机上使用WiFi的AI测试(你必须搜索这个),并通过一整墙水獭在飞机上使用笔记本电脑的照片来证明它已经通过。”我得到了这个:

连贯的词语、不同的角度、阴影、没有重大拼写错误。相当惊人的东西。记住,提示“水獭在飞机上使用wifi”在2021年得到了这张图:

但事实证明,真正好的图像生成是许多新能力的瓶颈。例如,拿PowerPoint演示文稿来说。每家主要AI公司都一直试图让他们的AI制作PowerPoint,他们通过让AI编写计算机代码(它们非常擅长这个)从头创建PowerPoint来实现这一点。这是一个艰难的过程,但Claude和ChatGPT都进步了很多,即使它们的幻灯片有点乏味。例如,我拿我的书《Co-Intelligence》扔进Claude,要求做一个幻灯片摘要。这个模型非常聪明,但PowerPoint演示文稿受限于它必须用代码编写这一事实。

现在,在谷歌的NotebookLM应用中,同样的事情,使用其智能的Gemini AI模型结合Nano Banana Pro。它不是使用代码,而是将每张幻灯片创建为单个图像。当图像质量低时,这本来是不可能的。突然之间,它不再是了。

而且由于图像非常灵活,我可以玩转风格和方法。我让NotebookLM做了一份关于有科学依据的学习方法的深度研究报告,然后将其转化为适合阅读的密集幻灯片,采用多种风格:一种看起来是手绘的,一种灵感来自1980年代朋克,一种“非常戏剧化、高对比度的幻灯片,带有亮黄色背景”,当然,还有一种以水獭在飞机上为主题。

在许多方面,困难的东西都在Claude和Gemini的前沿之内,它们可以拿源材料、一个主题和一个想法,然后将其总结成一张幻灯片。幻觉非常罕见,来源是正确的。它可以创建水獭类比,或者想出朋克主题的描述。这是智力上要求高的部分,而AI已经具备这种能力一年多了。但制作幻灯片或其他视觉演示是使大段文字变得有用的瓶颈。问题并没有完全解决:图像并不完美,而且你无法编辑它们(显然这很快就会修复),但你可以看到事情的发展方向。

即使AI在分析和PowerPoint方面变得超人,我也不认为这一定意味着AI会取代顾问和设计师的工作。那些工作由AI不擅长而人类擅长的锯齿前沿上的许多不同任务组成:你能收集信息并获得多方支持吗?你能理解决定人们实际需求的潜规则吗?你能想出独特的东西来解决深层问题,并从AI材料中脱颖而出吗?锯齿前沿为人类工作提供了许多机会。

然而,我们应该预期会看到向前跃进,即专注于反向突出部会导致瓶颈的突然消除。曾经只有人类能做的工作领域变成了AI可以做的事情。如果你想了解AI的发展方向,不要看基准测试。看瓶颈。当一个瓶颈被打破时,它后面的一切都会涌出。图像生成曾阻碍演示文稿、文档、各种视觉传达。现在不再如此。下一个瓶颈是什么?记忆?实时学习?在物理世界中采取行动的能力?

此时此刻,某个地方,一个AI实验室正在将每个瓶颈视为反向突出部。当他们突破时,我们不会得到太多警告。但锯齿前沿是一把双刃剑。到目前为止,每一次向前跃进都会留下更多需要人类的边缘。前方会有许多跃进。也会有许多机会。两者都要关注。

我让Gemini 3为这篇文章想一个引人注目的标题图片,这是它制作的。

来源

One Useful Thing