Ethan Mollick：AI 智能体已能完成真实工作

Ethan Mollick 2025年9月29日 791 80 78 分享 AI已悄然跨过一道门槛：它们现在能够完成真实的、具有经济价值的工作。

人类专家赢了，但只是险胜，而且差距因行业而异、变化极大。然而AI正在快速进步，较新的AI模型得分远高于旧模型。有趣的是，AI输给人类的主要原因并非幻觉和错误，而是未能很好地格式化结果或严格遵循指令——而这些正是快速改进的领域。如果当前趋势持续，下一代AI模型应当能在这一测试中平均胜过人类专家。这是否意味着AI已准备好取代人类的工作？

不（至少短期内不会），因为所衡量的不是工作，而是任务。我们的工作由许多任务组成。我作为教授的工作不只是一件事，它涉及教学、研究、写作、填写年度报告、支持我的学生、阅读、行政工作等等。AI完成其中一项或多项任务并不能取代我的整个工作，它改变的是我所做的事情。而且只要AI的能力仍然参差不齐，无法替代人际互动中所有复杂的工作，它就无法轻易地整体取代工作……

……然而，AI现在能做的某些任务具有惊人的价值。让我们回到我工作中至关重要的一件事：产出准确的研究。众所周知，学术界存在一场“可复现性危机”，一些重要发现被证明无法被其他研究者重现。学术界在这一问题上已取得一些进展，许多研究者现在会提供自己的数据，以便其他学者重现他们的工作。问题在于，复现需要大量时间，因为你必须深入阅读并理解论文、分析数据，并费尽心力地检查错误 1 。这是一个非常复杂的过程，只有人类才能完成。

直到现在。

我把一篇涉及多项实验的复杂经济学论文的文本，连同其全部复现数据的存档，交给了新的 Claude Sonnet 4.5（我获得了早期访问权限）。我除了给 Claude 这些文件和提示词之外什么都没做：“用他们上传的数据集复现这篇论文中的发现。你需要自己完成这件事。如果你无法尝试完整复现，就尽力而为”；而且，由于涉及复杂的统计，我要求它更进一步：“你还能尽可能复现完整的交互过程吗？”

在没有任何进一步指示的情况下，Claude 阅读了论文，打开存档并整理了文件，把统计代码从一种语言（STATA）转换为另一种语言（Python），并有条不紊地逐一核查所有发现，然后报告复现成功。我抽查了结果，并让另一个AI模型 GPT-5 Pro 对这次复现进行了复现。一切核对无误。我在其他几篇论文上做了尝试，结果同样良好，不过有些因文件大小限制或所提供的复现数据存在问题而无法进行。手动完成这项工作本会耗费许多小时。

但革命性的部分并不是我节省了大量时间。而是：一场撼动整个学术领域的危机，本可以通过复现得到部分解决，但这样做需要艰苦而昂贵的人力投入，无法大规模进行。现在，AI似乎可以核查许多已发表的论文、复现结果，这对整个科学研究都具有意义。这样做仍有障碍，包括准确性和公平性的基准测试，但这如今已成为一种现实可能。复现研究或许是一项AI任务，而非一份工作，但它也可能戏剧性地改变人类事业的整个领域。是什么让这一切成为可能？AI智能体已经变得好得多，而且非常快。

自最初的 ChatGPT 以来，生成式AI已经帮助许多人完成任务，但限制始终在于人类用户。AI会犯错出错，因此，如果没有人类在每一步上加以引导，就无法完成任何有价值的事情。自主AI智能体的梦想——即给定一项任务后，能够规划并使用工具（编码、网络搜索）来完成它——似乎遥不可及。毕竟，AI会犯错，因此在智能体为完成任务而必须遵循的漫长步骤链条中，一次失败就会导致整体失败。

然而，事情的发展并非如此，另一篇新论文解释了原因。事实证明，我们关于AI智能体的大多数假设都是错的。即使准确率小幅提升（而新模型出错的可能性要低得多），也会带来AI能完成的任务数量的巨大增长。而最大、最新的“思考”模型实际上能够自我纠错，因此不会因错误而停滞。所有这些都意味着，AI智能体能够完成比以往多得多的步骤，并且能够在没有大量人工干预的情况下使用工具（这基本上包括你的电脑能做的任何事情）。

因此，有趣的是，过去几年中少数几个覆盖从 GPT-3 到 GPT-5 全系列AI模型能力的衡量指标之一，是 METR 对AI能够以至少50%的准确率独自完成的任务长度的测试。从 GPT-3 到 GPT-5 的指数级增长在五年间非常一致，显示出智能体工作能力的持续提升。

作为这一特定噩梦的预演，我给 Claude 一份公司备忘录，让它把它变成一份 PowerPoint。然后又从另一个角度做一份 PowerPoint。再做一份。

直到我得到了17份不同的 PowerPoint。那 PowerPoint 太多了。

如果我们不认真思考我们为什么要做工作，以及工作应该是什么样子，我们都会淹没在AI内容的浪潮中。替代方案是什么？OpenAI的论文提出，专家可以与AI合作解决问题，把任务交给AI作为第一遍处理，然后审查其工作。如果结果不够好，他们应该尝试几次给出修正或更好的指令。如果这仍然行不通，他们就应该自己动手完成工作。如果专家遵循这一工作流程，论文估计他们完成工作的速度会快百分之四十，成本会低百分之六十，更重要的是，还能保持对AI的控制。

智能体已经到来。它们能完成真实的工作，虽然这些工作仍然有限，但很有价值，而且在不断增加。然而，同一种能在几分钟内复现学术论文的技术，也能生成17份没人需要的PowerPoint演示文稿。这两种未来之间的差别不在于AI，而在于我们选择如何使用它。通过在决定什么值得做、而不只是什么能做时运用我们的判断力，我们可以确保这些工具让我们更有能力，而不只是更高效。

根据研究领域的不同，复现（可能涉及收集新数据）与重现（可能涉及使用现有数据）研究之间可能存在差异。我在本文中不深入探讨各种区别，但在这个案例中，AI使用的是现有数据，同时也对这些数据应用了新的统计方法。