Tsinghua team builds the HandsOn dexterous manipulation benchmark, with 66 tasks comprehensively evaluating robots' two-handed capabilities

机器人操作的「考卷」，需要为灵巧手重新出一份了。

过去的机器人操作 benchmark，大多围绕夹爪展开。而随着第一视角（ego）人类操作数据不断积累，人如何抓握、使用工具、完成精细接触，正被越来越大规模地记录下来。灵巧手与人手结构相近，有望借助这些数据实现更大规模的学习，成为机器人操作的重要方向。

然而，灵巧手不断进化，「考卷」却没有跟上。

灵巧手有大量主动关节，任务充满接触，常常需要双手协作，还要在较长的动作序列中保持前序结果；成功与否难以判定，失败发生在哪一步也难以定位。夹爪时代的基准无法直接回答这些问题，而面向灵巧手的系统、可靠的评测体系，目前仍然缺位。

数据和模型在往前走，却缺少一把能够衡量进展的尺子。

近日，清华大学丁宁团队联合北京邮电大学、北京大学及来自自然意志 Nature Will 的研究员共同构建了一个面向跨本体灵巧操作的可组合仿真平台与评测基准 HandsOn，希望补上这一环。

HandsOn 包含 66 项人工验证任务和 18,000 条人类仿真遥操作示范，围绕工具使用、精细接触、双手协作和任务迁移展开评测。平台支持 5 种机械臂、6 种灵巧手，以及约 200 种刚体、关节物体和可变形物体资产，并可在随机化场景中组合。

HandsOn 包含 18,000 条精选仿真遥操作示范，任务分为 Core-50 与 Transfer-16。

这份基准给出的成绩单并不轻松：团队评测了扩散策略、视觉语言动作模型、世界动作模型等不同路线。结果显示，在提供训练示范的 Core-50 任务中，表现最好的受训多任务策略成功率为 29.1%。面对没有目标任务训练示范的 Transfer-16，8 种受训多任务策略的任务平均成功率均低于 1%。

此外，GPT-6 未经过基准数据微调，通过 move_eef 接口控制手掌与手指，在 660 次测试中，Core-50 和 Transfer-16 的成功率分别为 5.2% 和 1.9%。

团队还进一步追踪了抓取、接触、双手协调和目标状态保持等环节，发现机器人经常能够完成动作的前半段，却在关键时刻失误。

相关论文、代码与数据资源已公布。

为什么灵巧手需要一套新的评测基准？

灵巧手的难点，不只是比夹爪多了几根手指，还在于它需要控制操作过程中不断变化的接触关系。

拿起鼠标之后，机器人需要避免提前触发点击；设置两个旋钮时，需要让它们同时保持在目标位置；放置盒盖时，还要在松手后维持原有的对齐状态。这些任务都要求机器人协调手指动作、判断接触状态，并确保已经完成的操作不会被后续动作破坏。

这也改变了机器人操作的评测方式。对于夹爪，抓取是否成功、物体是否放到指定位置，往往是重要的判断依据。对于灵巧手，仅仅抓住物体远远不够。机器人还需要真正使用工具、完成精细操作，并在多步骤任务中维持正确的物体状态。一次动作取得进展，不代表整项任务已经成功。

第一视角人类操作数据的积累，为灵巧手学习这些技能提供了新的机会。但示范数据增加之后，仍然需要回答两个问题：模型能否稳定复现学过的操作？面对新的物体、任务组合或可变形物体时，它能否迁移已有技能？

已有的灵巧操作基准已经覆盖不同机器人本体、功能性操作和双手协作。不过，相关研究在人类示范数据规模、专门留作评估的未见任务，以及操作失败过程的诊断等方面，仍有进一步完善的空间。

HandsOn 的设计从这里切入，把执行能力与泛化能力分开测量，将 66 项任务划分为 Core-50 和 Transfer-16 两套评测。

Core-50 提供用于策略学习的示范数据，并通过新一轮独立执行测试评估策略表现；Transfer-16 则专门用于泛化能力评测，不会将目标任务的示范数据纳入训练集。

HandsOn 套件：Core-50 包含演示内容；Transfer-16 仅供评估使用。

这种设计不仅检验机器人能否完成有示范的任务，也进一步考查已有技能能否迁移到新的操作条件。结合阶段性诊断，研究者还可以分析失败发生在接触建立、功能操作、双手协调、目标状态保持，还是后续步骤衔接等环节。

Core-50：学会任务之后，能否稳定执行？

Core-50 包含 50 项提供训练示范的任务，涵盖功能理解、数值输入、空间关系、关节操作、精确接触和双手协作等能力。

这些分类对应着具体的生活场景。操作剪刀时，机器人需要将其抬离桌面，在持续抓持中完成三次开合；设置计时器时，需要输入指定的分钟和秒数，启动后撤回双手；展开折扇则要求双手握住外侧扇骨，将其展开至目标角度并保持。制作咖啡进一步串联了取杯、关门、接咖啡和放置等步骤，考查动作之间的衔接。

Core-50 中的六个任务实例。每项任务都有明确的目标、动作约束与完成条件；图片均为仿真场景原图。

任务设计沿三个维度展开。

第一个维度是交互类型，包括基本操作、功能使用和接触密集操作。

第二个维度是任务结构，包括单阶段操作、重复操作和长时程任务。

第三个维度是物体类型，覆盖刚体、具有转动或滑动关节的物体，以及可变形物体。

在 Core-50 中，三类交互分别包含 17、18 和 15 项任务，三个维度交叉组合，使基准能够覆盖不同难度的操作场景。

Transfer-16：换了物体和任务，还能不能完成？

Transfer-16 包含 16 项不提供目标任务训练示范的评测任务，进一步考察模型能否迁移已有技能。其中，7 项任务考察资产或关系迁移，6 项任务考察技能组合，另外 3 项涉及可变形物体操作。

资产或关系迁移要求模型面对新的物体或目标关系，找到正确的操作对象并完成任务。技能组合要求模型将已经学过的动作按正确顺序衔接起来。可变形物体操作则引入毛巾、海绵和枕头，要求模型应对物体形状在操作过程中发生的变化。

例如，在交接方块后盖盒子的任务中，机器人需要先完成双手交接，再将方块放入盒中，最后对齐并盖好盒盖。每个局部动作都可能已经在其他任务中出现，但模型仍然需要判断当前步骤是否完成，以及前一步取得的结果能否继续保持。

连续折叠毛巾的要求更加复杂。机器人需要连续完成两次折叠，并在释放之后让毛巾稳定地留在桌面上。柔性物体会随着抓持位置和施力方式改变形状，操作过程也因此更难预测。

Transfer-16 中的代表任务，展示资产迁移、技能组合和可变形物体操作。

可以看出，Core-50 主要检验有示范任务上的学习与执行能力，Transfer-16 则进一步测试已有能力能否迁移和组合。

让失败也能被准确记录

为了保证评测可信，HandsOn 为每项任务制定了任务卡，规定目标、标准初始状态、预期最终状态、允许和禁止的动作，以及判断任务是否完成的证据。

完成条件可以依据物体位姿、关节状态或图像等信息判断。研究团队还对任务开展人工操作验证，并设置独立审核流程，检查成功标记是否与实际物理状态一致。

在多步骤任务中，评测还会记录按顺序完成的阶段进展。例如，方块交接任务会区分两只手共同接触物体，以及接收手已经能够独立支撑物体。技能组合任务则会检查前置步骤是否完成，已有结果是否得到保持。

这让研究者能够区分两种情况：模型完全没有完成任务，还是已经完成了其中一部分，却在后续步骤中失败。

1.8 万条示范之后，机器人学会了什么？

与夹爪数据不同，灵巧手的示范需要记录手指层面的细粒度动作。HandsOn 采用人类遥操作的方式，把人手的操作转化为灵巧手的动作示范，这也与第一视角人类操作数据的发展方向相呼应。

围绕这套任务，HandsOn 收集了约 56 小时的人类操作记录，涉及至少 10 名操作者、超过 1,050 次采集会话。操作者佩戴 MANUS 数据手套，并借助腕部追踪设备控制仿真机器人，系统同步保存图像、状态、动作与语言信息。

18,000 条示范中，15,178 条用于训练，2,822 条用于验证。每次交互都包含正面与左右腕部三路图像：正面视角呈现桌面布局和双手位置，腕部视角提供靠近手指与物体的局部观察。对于需要精确接触的任务，局部画面能够补充手指如何接近、抓持和操作物体的信息。

数据规模增加之后，成功率会怎样变化？研究团队选择「将球放入碗」和「举起剪刀并开合」两个任务，用 π0.5 开展单任务实验，将训练示范依次增加至 10 条、50 条、100 条、200 条，最后使用完整训练池。

π0.5 单任务示范规模实验，完整训练池分别为 438 和 439 条。每个检查点训练 20,000 次更新、测试 100 回合；阴影为 95% Wilson 区间。采用单训练种子，区间不包含训练种子或子集选择的不确定性。

结果显示，放球任务的成功率从 7% 提升至 83%，剪刀任务从 1% 提升至 44%，两项任务在五个测试规模上均持续改善。完整训练池分别包含 438 条和 439 条示范，各检查点均训练 20,000 次更新，并通过 100 回合新的闭环执行测量表现。

这组结果让数据收益有了直观参照。随着示范增加，模型在两项任务中都获得了更高成功率；与此同时，剪刀操作与放球任务之间仍有较大差距，显示出稳定抓持与工具功能动作结合后的难度。实验采用单一训练种子，报告的 95% Wilson 区间反映测试回合的不确定性，训练种子与子集选择带来的变化仍需进一步检验。

数据还可以从视觉外观上扩展。HandsOn 支持对同一段操作进行高保真重渲染，改变桌面材质、光照、房间背景及相机的小幅偏移，同时保留原有状态与动作监督。研究者由此可以围绕同一次交互生成不同观察，检查策略面对外观变化时的适应情况。

在机器人配置上，HandsOn 围绕真实 ROKAE 机械臂与第一代 Wuji Hand 建立仿真对应，每只手包含 20 个主动关节。运动学、关节限制、资产尺度、相机标定，以及状态和动作坐标，都纳入对应记录。主相机与腕部相机配合，使整体布局与手部细节进入同一套数据和评测流程。

玩具飞机场景的仿真与真机视角对照，腕部图像放大呈现。

平台支持 5 种机械臂、6 种灵巧手和约 200 种资产，本次数据采集与定量评测统一采用 ROKAE—Wuji 及 PhysX 配置。团队还提供了使用仿真示范适配策略的真机运行视频，在无目标任务真机示范的条件下，定性展示接触、搬运与姿态保持。有关现实执行的表现，目前可结合这些视频观察，其证据范围与仿真中的定量评测有所区别。

29.1% 的成功率，双手配合难在哪里？

HandsOn 共评测 10 种方法，包括 5 种视觉语言动作模型（VLA）、3 种世界动作模型（WAM）、按任务分别训练的 Diffusion Policy，以及零样本控制参照 GPT-6。前 9 种方法使用 HandsOn 示范训练，其中 8 种采用多任务训练。

在 Core-50 上，9 种受训方法累计完成近 4.5 万次有效测试，多任务策略的最高任务平均成功率由 OpenWAM 取得，为 29.1%。不同任务之间的差异较为明显：抓取、搬运和部分关节操作相对容易，使用工具作用于第三个物体、完成精密配合等任务仍然困难。

迁移评测的结果更加严峻。Transfer-16 上，8 种多任务受训策略的任务平均成功率均低于 1%，单任务 Diffusion Policy 未参加这部分评测。面对新的资产、技能组合与可变形物体，已有训练经验转化为完整任务成功的能力仍然有限。

完整成功较少时，阶段进展提供了进一步分析的入口。双旋钮任务就是一个例子：两只手分别操作旋钮，将两侧都调至目标状态，并满足保持与释放等条件。在 8 个多任务模型共 800 次尝试中，219 次曾让两侧各自到达目标，38 次实现同时到位，最终 5 次满足完整条件。

差距主要出现在两个局部结果如何共同成立。常见情况是，先到位的那只手继续转动，另一只手尚未完成时，已有结果已经发生变化。

方块交接则体现了双手之间的时序要求。在 367 次两手共同握住方块的回合中，188 次实现了接收手独立接管；其余 179 次中，有 175 次随后掉落。给予手何时松开，需要与接收手的支撑状态协调。

双旋钮共 800 回合；方块交接的 367 个共同接触回合中，188 个实现接收手独立接管。

长任务又增加了对顺序的要求。在要求先盖水壶、再盖盒子的组合任务中，400 次尝试有 340 次先移动了盒盖。这类记录为后续研究提供了可追踪的问题：模型如何确认当前步骤完成，如何保持已有结果，以及何时启动下一步操作。

研究还通过保持画面、替换指令中目标物体的方式，检查动作是否随语言目标改变。部分检查点对物体名称的响应仍然有限，提示目标选择同样需要持续检验。一次任务失败，可能涉及接触控制，也可能更早发生在目标理解与动作选择阶段。

GPT-6 的零样本测试提供了另一组观察。它在每轮读取三路 RGB 图像、机器人状态、任务指令和执行反馈，通过 move_eef 指定手掌姿态和最多 40 个手指关节目标。

在未经 HandsOn 示范训练或微调的条件下，模型对全部 66 项任务各测试 10 次，取得 26 次 Core-50 成功和 3 次 Transfer-16 成功，对应成功率为 5.2% 和 1.9%。

动作记录显示，模型能够提出一些与操作前提有关的计划。例如，折叠毛巾时，它曾提出先小幅试提，确认毛巾边缘随手移动，再继续折叠。该回合最终失败，体现了计划落实为接触与运动控制时的困难。

对于走向日常环境的机器人，这些细节都与实际使用有关。随着任务配置、示范数据和评测方法公开，研究者可以在共同设置下检验新方法，并沿着执行过程分析成功率变化的来源。对于机器人双手如何逐步掌握日常操作，这套基准提供了一组可持续比较的实验条件。

结语：让能力进步经得起实践检验

手，是人类最精巧的器官之一。人们通过双手使用工具、改造环境，也在一次次操作中积累关于物体与世界的经验。

机器人要进入人的生活与工作空间，同样需要将感知、判断与动作融入持续的物理交互。对于机器人行业，双手能力的成熟程度，将影响通用模型能够承担多少实际工作。

机器人行业正逐步进入一个需要积累共同证据的阶段。技术演示呈现了能力的可能性，规模化应用则要求这种能力经得起重复执行、场景变化和长期运行的检验。

在这一过程中，公开基准承担着连接研究成果与应用需求的作用。随着模型能力提高，评测也需要从实际应用中吸收新的任务与约束，让分数的增长对应到更广泛、更稳定的操作能力。

HandsOn 的长期价值，也将随着研究者的参与逐步显现：新方法推动成绩提升，失败案例带来新的研究问题，应用需求促使测试标准持续完善。对行业而言，这样的积累有助于形成更清晰的能力边界，让研发投入与落地预期获得更扎实的依据。

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：陈陈、Clio，36氪经授权发布。