Michael Ilie、C. Daniel Freeman 和 Kevin K. Troy

2025年8月,我们进行了一项 实验 ,看看Claude能在多大程度上帮助Anthropic员工——他们并非机器人专家——用一台现成的四足机器人(下称机器狗)完成复杂(且有趣)的任务。我们称之为Project Fetch。我们发现,使用我们当时最先进的模型(Claude Opus 4.1)让一支团队的表现大幅优于另一支只能依靠互联网和自身创造力的团队。启用Claude的团队完成得更多、更快。

在我们把同事拉到仓库进行实验之前,我们再次确认了Opus 4.1能否完全独立完成这些任务。毫无疑问,它不能。和我们没有Claude的团队一样,它也卡在了如何连接机器人这一初步任务上。

但AI模型进步飞快——甚至比8月份差点撞上我们一支人类团队的失控机器狗还要快。

我们认为该重新审视Project Fetch了,看看我们更新的模型能否超越上一代。它们不仅做到了,而且 Claude Opus 4.7——在无人工协助下运行——在不到一年前我们参与者完成的所有任务上,比最快的人类团队快约20倍.

这并不意味着大语言模型已经解决了机器人技术问题。远非如此。最新的Claude模型在使用机器人精确移动沙滩球——即Project Fetch中“取回”的部分——时仍然吃力。而且这些实验中的任务都没有涉及机器人控制中更具挑战性的底层要素,例如制定特定的驱动策略。然而,我们再次看到了这样一种模式:首先,模型对人类有帮助。然后,人类对模型有帮助。最后,模型在很大程度上能够自己完成任务。我们已在 网络安全 领域看到了这一点,如今同样的动态也开始在AI与物理世界的交汇处成形。

我们做了什么?

最初的Project Fetch让Anthropic员工团队(随机分配为使用或不使用Claude)完成以下步骤:使用厂商提供的控制器操作机器狗,连接机器狗的视频和激光雷达传感器,编写并运行程序手动控制机器狗,开发一种监测机器狗在空间中路径的方法,编写程序检测沙滩球,最后将这一切整合起来自主取回球。

在这次自主化更新中,我们无法要求Claude使用物理控制器,也没有评估研究人员使用Claude编程的控制器取回球所需的时间(不过我们确实确认了它能按预期工作)。在其余任务子集上,我们在Claude Code中以最大努力设置使用自适应思考,对Opus 4.7进行了三次试验。我们测量了每个目标的耗时,并对模型的成功进行了定性评估。

我们研究人员的角色仅限于将运行Claude Code的笔记本电脑插入机器狗、输入初始提示、批准命令,以及批准模型进入下一任务。

Claude在哪里表现出色?

非常简单:在8月份至少有一支人类团队完成的每一项任务上,Opus 4.7完成同一任务的速度至少快十倍。1 如果考虑两支人类团队都完成的四项任务,Opus 4.7平均比无Claude团队快37倍以上,比有Claude团队快18倍以上。

Bar chart labeled "Total time comparison: 4 tasks completed by all teams." The chart shows that Team Claude-less completed tasks in 361 minutes; Team Claude completed tasks in 181 minutes, and Claude Opus 4.7 alone completed tasks in 9 minutes 35 seconds. Opus 4.7 was 37.7 times faster than Team Claude-less and 18.9 times faster than Team Claude.

该表比较了原始团队(Team Claude和Team Claude-less)与Opus 4.7在第二阶段测试的所有任务上的速度。

Table comparing Claude Opus 4.7 to Team Claude-less and Team Claude performance on tasks related to programmatic control and autonomous operation. Tasks include "Connect to robodog's video camera," "Connect to robodog's lidar sensor," and "Detect beach ball." Opus 4.7 was faster than Team Claude-less and Team Claude on all tasks. Team Claude-less did not complete all 5 tasks in the table; Team Claude completed them in 264 minutes; and Opus 4.7, averaged over 3 trials, completed them in 12 minutes 7 seconds.

人类在多种与机器狗传感器交互的不同方法之间难以抉择,而Opus 4.7能够迅速找出最佳路径。它编写的许多代码第一次尝试就有效(这在原始实验中并非Team Claude或Team Claude-less的情况)。事实上,从Opus 4.7生成的代码量中我们可以看到其效率的证据:它比两支人类团队都同样成功或更成功,同时生成的代码量比Team Claude少近十倍。

Bar chart showing total code volume for Team Claude, Team Claude-less, and Opus 4.7 alone. Team Claude wrote 10,309 lines of code; Team Claude-less wrote 1,136 lines of code; Opus 4.7 alone wrote 1,045 lines of code.

Opus 4.7并非完美。例如,它默认使用了过时的目标检测算法。但即便如此,它也能绕过这一问题并得出有效的解决方案。

我们观察到模型完成步骤的完成时间在任务内差异很小(按绝对值计)。(不过前述次优算法选择很可能是其中一次沙滩球检测试验耗时明显长于其他试验的原因。)总体而言,对于本次实验中处于其能力范围内的任务,Claude现在相当可靠。(关于Claude仍无法完成之事的分析,见下一节。)

Scatter plot showing Opus 4.7's reliability on task performance. Opus 4.7 performed each task three times; the scatter plot shows that the performance time was relatively consistent across runs.

值得强调(正如我们在上一篇博文中所做的那样),这一进展并非有针对性地提升我们模型机器人能力的结果。这些改进,如同大语言模型发展史上的许多其他改进一样,源自更为通用的规模化扩展。

Claude在哪里遇到困难?

在使用双手并经过一些练习后,我们的人类能够操控机器狗轻轻将沙滩球推回机器人起始的本垒(一块假草坪)。这需要能够快速感知球是否偏离路线、该误差与先前命令的关系、球现在的位置,以及如何调整后续输入以更精确地移动球。这是一种人类擅长的闭环(至少在犯了一些错误并从中学习之后)。

在我们的第二阶段实验中,Claude难以把握这一微妙之处。与那些已经进入需要编写程序实现自主取回沙滩球阶段的人类一样,Claude能够将机器人移动到球的后方,并调整其位置以便将球击回起点。但这些操作的控制效果不佳,而且(同样与我们的部分人类参与者一样)未能成功。

我们的一位研究人员比第一阶段志愿者拥有更多机器人技术经验,他成功完成了自主取回任务的编程。如果有更多时间和额外的辅助支持,我们认为当前几代Claude很可能也能做到同样的事情。不过,我们接下来将关注的是,模型能否以它们在Project Fetch其他环节中展现出的同样速度和可靠性来完成这最后一项任务。

这意味着什么?

在撰写第一阶段的内容时,我们强调了LLM如何能够为需要使用机器人的非专业人类提供能力提升。这一点如今比以往更加明显。模型现在能够独自、更快地完成过去需要人类与模型结对编程才能完成的工作,这意味着人们可以更快地转向控制和操作机器人。而对于某些任务,由人类在回路中操控机器人,可能仍然胜过(虚拟)手握方向盘的AI模型。

有趣且不同之处在于,我们现在似乎离这样一个世界近得多:模型将能够相对轻松地使用现成的物理工具——至少对于有限的目的而言。这类似于AI模型在向更具自主性的编程过渡时使用字符串替换等现有软件编辑工具的方式。我们很可能正在进入 物理 自主AI的早期时代。

还需要更多研究来理解模型让这些物理工具更加定制化的能力,无论是通过编写针对特定任务定制的控制策略,还是通过设计机器人系统。而且,对于这种更具通用性的、具备物理能力和适应性的语言模型愿景,可能存在重大障碍。但正如我们所见,模型能力上看似巨大的差距可以很快被跨越。模型构建自己的软件工具在不久前可能还显得荒诞不经,但它正在发生。认为硬件领域不会走上同样的轨迹,将是不明智的。

6月18日更新: 更正了Project Fetch第一阶段的日期。

脚注

01我们报告的是Claude Opus 4.7的结果,因为在我们进行这项实验时,它是我们最先进的非Mythos级模型。使用Claude Mythos Preview进行的初步试验表明,由于我们设置实验的方式以及模型的部署方式,它无法与其他模型进行同类比较。