Artificial Analysis 发布 AA-Robotics v0.1 机械臂操控评测

36氪Auto数字时氪未来消费智能涌现未来城市启动Power on36氪出海36氪研究院潮生TIDE36氪企服点评36氪财经职场bonus36碳后浪研究所暗涌Waves硬氪氪睿研究院媒体品牌

企业号企服点评36Kr研究院36Kr创新咨询企业服务

核心服务城市之窗政府服务

创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务

活动搜索项目推荐我要入驻城市合作GPT、Claude指挥机器人干活，到底几斤几两？首个评测榜单来了智东西·2026年10月16日 10:29GPT-6 Astra的测试结果和成本都排第一。

机器人前瞻10月15日报道，昨天，美国AI基准测试公司Artificial Analysis发布新基准测试，AA-Robotics v0.1。

该公司称，目前该评测仍是一个研究预览版本，主要用于评估前沿大语言模型在物理世界中的理解、规划和执行能力。

团队在v0.1中设计了抓取、物体摆放、按按钮等8项桌面操作任务，让GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon等前沿大语言模型，通过写代码直接控制一台6轴机械臂，完成操作。

桌面操作任务

该研究团队公布了8项任务的测试结果。在AA-Robotics v0.1中，GPT-6 Astra以69分排名第一。

随后依次为GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5和Claude Fable 5.1。

GPT-6 Astra平均完成每项任务需要30分钟，成本为16.36美元（约合人民币109.49元）。

尽管模型能够控制机械臂了，但从测试结果看来，目前其速度和成本仍然无法达到生产应用的要求，和人类基准相比，差距接近两个数量级。

01.8项桌面操作任务，测试大模型对机械臂的控制能力

自2026年初以来，前沿大语言模型控制机械臂的能力取得了巨大进步。

研究团队认为，未来的机器人很可能会由强大的通用智能体驱动。因此，该团队设计了AA-Robotics v0.1基准测试，用来验证这一方向。

评测让运行在编码智能体框架中的大语言模型，直接控制机械臂。

此次测试只会给模型提供简短的操作说明，包括如何通过一个HTTP API连接机械臂，机械臂是哪一台，以及如何提交任务并宣布完成。

评测中使用的机械臂是Hiwonder NexArm，一台6轴机械臂，包括5个关节和1个夹爪。

模型可以通过4个摄像头观察场景，其中3个摄像头安装在桌子周围，另一个安装在机械臂的腕部。

观察完场景之后，模型还可以在隔离的代码运行环境中编写并运行代码，用于进行运动规划，并将运动指令发送给机械臂。

AA-Robotics v0.1任务流程

在AA-Robotics v0.1评测中，主要包含8项桌面操作任务，包括

控制与灵巧操作，精准抓取和操作物体，例如进行积木整理；

空间推理，理解不同物体之间如何相互作用，例如把饮料倒进杯子里；

适应能力，用于评估模型面对意外情况时的应对能力。

桌面操作任务

当模型提交任务后，系统会根据任务设定的通过标准对最终状态进行评分。

完成任务可获得100分，如果任务没有完全完成，则会根据完成程度获得相应的部分分数。

在评测过程中，所有任务均尝试采用零样本（zero-shot）方式进行，模型没有针对每项任务进行专门训练，只是根据任务要求完成操作。

02.模型能控制机械臂，但问题在于操作时间过长

从测试过程来看，模型已经能够控制机械臂了，目前问题在于，模型控制机械臂完成任务需要花费大量的时间和成本。

评测结果显示，目前的语言模型完成AA-Robotics v0.1任务的速度，大约只有人类的1/100。模型平均每项任务完成时间约为30分钟，而人类平均只需要20秒。

从整体来看，5个测试模型中有4个表现比较接近，平均每项任务约需要30分钟，其中Gemini 4 Argon最慢，平均需要52分钟。

任务完成平均时间

其原因是，模型在任务开始阶段，会花费大量时间校准机械臂并理解场景，这一过程会一直持续到模型采取第一次行动。

在第一次行动之后，大部分时间都用于运动规划。相比之下，机械臂真正执行动作的时间反而比较短。

不过，不同模型之间也存在差异。例如，GPT-6 Astra只用2.2分钟就按下了红色按钮。

按下红色按钮任务

相比之下，Claude Fable 5.1花了约10分钟理解场景并进行规划，之后才采取第一次行动。

在摆放一个鳄鱼玩具的任务中，这种差距更加明显。

摆放鳄鱼玩具任务

GPT-6.1 Sol在任务开始5分钟后就宣布完成，但Claude Opus 5.5则花了45分钟。两者完成时间相差9倍。

在所有任务中，Gemini 4 Argon是任务完成最慢的模型。它平均需要花费21分钟观察场景并进行推理，之后才会开始采取第一次行动，这一完成时间几乎是其他模型的两倍。

同时，测试中研究团队还发现，模型在已经达到任务通过状态后，往往仍会继续优化操作，甚至持续很长时间。例如，GPT-6.1 Sol在约17分钟时已经搭建出一座符合要求的塔。但随后它继续操作，最终反而导致任务失败。

这个例子也暴露出，让机器人完成任务，需要解决的不只是“怎么做”的问题，还有“做到什么程度才算结束”的问题。

模型未来能否进一步提升对物理空间中任务完成状态的判断能力，还有待观察。

03.GPT-6 Astra拿下第一，但成本最高

抓取和精细操作是AA-Robotics v0.1重点测试的能力。在抓取和精细操作测试中，GPT-6 Astra和Claude Fable 5.1的表现最好，两者成功完成任务的比例最高，约为45%。这表明它们具备一定程度的精细控制能力。

抓取和精细操作测试中各模型表现

GPT-6.1 Sol的表现最差，成功率仅为28%。Gemini 4 Argon的成功率为36%，处于两者之间。

与此同时，速度和成本仍然是模型进入生产场景最大的障碍之一。与时间差距相比，人类与模型之间，成本差距较小。

在成本上，成本最低的模型，其完成任务的成本约为按照美国平均时薪计算的人类成本的10倍。而在时间上，模型与人类之间的差距接近100倍。

此外，不同模型之间的成本也存在差异。尽管GPT-6 Astra的表现最好，但同时它的成本也是最高的。

任务完成平均成本

GPT-6 Astra平均每项任务成本为16.36美元（约合人民币109.49元）。而成本最低的模型GPT-6.1 Sol，平均每项任务成本仅为1.93美元（约合人民币12.92元）。

在成本上GPT-6 Astra是Sol的8倍，但最终得分只高出4分，分别为69分和65分。

值得注意的是，目前模型大部分成本都来自输入，因为考虑到机械臂和测试场景都比较新颖，同时模型需要处理大量视觉信息，所以约70%的成本用于处理上下文信息。

04.结语：时间、成本、判断力，大模型操控机器人的三道门槛

在AA-Robotics v0.1测试中，模型通过摄像头观察环境，结合视觉信息进行推理，控制机械臂完成了任务。

但对于模型和机器人来说，时间和成本依旧是实际操作和落地过程中的硬伤，与人类操作相比仍存在明显差距。

同时，模型对于物理空间中任务完成状态的判断能力也仍需增强。

在研究团队公布出的失败案例中，有的机械臂将物体摆放在对应的位置，明明已经完成了任务，却又将物品反复抓取，无法判断任务是否已经完成，还延长了操作的时间。

更重要的是，当机器人进入真实环境后，还需要处理更多的不确定性，面对包括物体位置变化、抓取失败以及任务状态判断等问题。

因此，如何提高模型的操作效率、降低使用成本，并提升其对任务完成状态的判断能力，仍是后续需要解决的问题。

本文来自微信公众号“机器人前瞻”，作者：刘俐杉，编辑：许丽思，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。+10

好文章，需要你的鼓励智东西特邀作者0收 藏+10评 论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微 博沉浸阅读返回顶部举报参与评论评论千万条，友善第一条登录后参与讨论提交评论0/1000你可能也喜欢这些文章Linux之父也用AI写内核了，曾嘲讽AI「90%是营销」，如今用Claude Code写了8个补丁，性能暴涨3倍我们不该投资更多的「田柯宇」市场终于发现，AI最大的瓶颈不是电，不是芯片，而是钱小团队也能预训练，普罗2B：RTX5090训练成本不到5090美元OpenRouter周榜全球第二，这个国产模型终于开源了突发，Anthropic联创改口：RSI提前到2027，人类只剩6个月顶级白帽跳槽智谱，用 AI 挖微软漏洞，微软还得说谢谢科学家让AI掌管「世界」，结果4天就被它毁了个干净大开源时代？AI 逆向，让一切软件变成免费智东西特邀作者

智东西，AI产业新媒体。发表文章3191篇

最近内容OpenRouter周榜全球第二，这个国产模型终于开源了8分钟前GPT、Claude指挥机器人干活，到底几斤几两？首个评测榜单来了11分钟前年售2亿部手机超小米，深圳手机巨头今日港股上市17小时前阅读更多内容，狠戳这里选靠谱AI，看真实评测查看36氪AI测评官方交流社区加入咨询项目审核和入驻联系36氪项目推荐订阅号关注

36氪欧洲站36氪欧洲站36氪欧洲站Ai产品日报网络谣言信息举报入口热门推荐

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者，项目融资率接近97%，领跑行业