ToyBlocks：面向机器人学习与评测的受控世界

ToyBlocks 的工作原理

基于我们此前在开放机器人学习领域的工作（包括 MolmoAct 2、MolmoBot 和 MolmoSpaces），ToyBlocks 为研究人员提供了一种在刻意受限的领域中研究机器人学问题的方法。

作为一个 FoundationWorld，ToyBlocks 围绕四项要求进行设计：（1）逼真的物理效果与外观；（2）大规模自动生成任务与演示；（3）将推理与灵巧操作相结合的挑战；（4）广泛覆盖该领域内可能出现的任务。

开放式领域需要对大量物体和交互进行建模，因此无法同时满足上述所有要求。而 ToyBlocks 的范围较窄，这使得它能够满足全部要求。

在 ToyBlocks 较小的设定中，研究人员可以着手研究机器人如何学会执行任何合理的任务，同时确信模拟的机械臂和积木的行为与其实物对应物非常相似。

ToyBlocks 装置中位于木块上方的实体机器人夹爪。

ToyBlocks 不仅仅涉及拾取和堆叠积木：积木表面上的图片和字母使得搜索、分类和排列任务成为可能。机器人可能需要转动积木以看到隐藏的一面，然后才能决定它应该放在哪里。领域随机化——在每个场景中改变积木尺寸、桌面高度和其他物理属性——可以检验模型在几何形状变化时的泛化能力。

ToyBlocks 会自动生成技能（短任务的行为）和任务演示，这些可用于训练模型，或通过额外训练（微调）来适配先前训练过的模型。高层推理模型决定要做什么；低层动作模型控制机器人的运动。该框架还可用于轻松设计实验并验证假设。

ToyBlocks 使用强化学习（RL）和运动规划（计算机器人应如何移动）来为短时程任务（涉及简短的动作序列）生成技能。技能训练在 Isaac Lab 中进行，这是 Nvidia 用于仿真中机器人学习的开源框架。通过试错，这些策略——选择机器人动作的模型——学会了非抓取式技能，例如将积木推过桌面，或将其翻转到另一面而无需将其拿起。技能生成可以利用特权信息——模拟器可以直接提供但真实机器人无法获得的值，例如积木的精确位置和朝向——而不是从相机图像中估计这些信息。这使得能够自动生成在现实世界中需要遥操作的技能。

为了生成演示数据，任务与运动规划器（TAMP）会自动选择并排序解决任务所需的技能，并规划机器人在这些技能之间的移动。在仿真中运行每个规划会生成一个记录演示的数据集，以及描述机器人执行哪个任务或技能的标签。ToyBlocks 通过在单个图形处理单元（GPU）上并行生成和执行数百个此类规划来扩展数据生成规模，最高可达 24 倍的实时性能。

基于传感器观测进行动作会带来一个感知问题：模型必须估计积木的位姿——即其位置和朝向——而模拟器本可以直接提供这些信息。为了反映真实世界条件，ToyBlocks 训练将原始传感器观测映射到动作的模型。

在 ToyBlocks 中训练的 Molmo 2（高层模型）和 ManiFlow（低层模型）的执行过程。Molmo 2 选择旋转和翻转等技能，通过指向界面指示相关积木，而 ManiFlow 控制模拟机械臂执行所命令的技能。

ToyBlocks 的可控数据生成器让用户能够创建强调特定技能或填补现有数据集空缺的训练混合数据。研究人员可以研究模型需要多少数据，以及哪些经验有助于它泛化到未见过的任务。例如，他们可以测试添加旋转和拾放演示是否能改善翻转，或者改变定义的工作区区域内外的示例比例——并在未纳入训练的任务上评估他们的选择。重要的是，对训练后模型的评估会生成成功率之外的指标；它提供诸如执行速度、施加在物体上的力，以及通过规划模块所使用的相同规格衡量的任务进度等信息。

网页界面让用户可以连接 Claude——或其他前沿模型——并使用自然语言指示机器人或尝试任务，从而提供了一种无需机器人专业知识即可探索模型如何规划和行动的方式。

基于 ToyBlocks 的研究

以下评估使用 ToyBlocks 来研究训练数据和方法如何影响性能、空间推理、对新字母和积木外观的泛化、多步规划、向物理机器人的迁移，以及通过工具行动的前沿模型。用户可以轻松设计自己的任务和度量指标来探究其他问题——例如，模型在通过指向选择物体与通过发出诸如“拿起黄色积木”之类的文本命令选择物体时，哪种方式表现更好。

低层动作模型：VLA 空间泛化

低层动作模型，例如视觉-语言-动作模型（VLA），将语言指令和视觉观测映射为机器人动作。

VLA 的前提是，通过在大规模数据集上进行预训练，它们能够快速泛化到不同场景或特定工作区。然而，关于这些动作模型泛化能力的证据仍然相互矛盾。一些研究报告称，这些动作模型对输入变化（例如不同的物体布局和光照）很脆弱，而另一些研究则表明 VLA 泛化良好。我们认为，这些研究往往依赖于在空间变化方面灵活性有限的真实世界数据集。ToyBlocks 使我们能够在简单、易于复现且具有有意义的任务空间多样性的环境中测试动作模型的泛化能力。

我们设计了泛化测试，改变完成任务指令所需的技能序列、积木上的字母或颜色，以及场景中积木的数量。一项堆叠研究可以在训练中排除四块堆叠，然后测试模型能否组合熟悉的动作来搭建它们。工作区研究区分模型在训练区域内新位置上的表现与在其边界之外（模型必须进行外推）的表现。我们在下面展示研究设置和发现。

我们考虑四项任务：堆叠、拆叠、翻转和旋转。对于这些任务，我们研究插值（训练范围内的新配置）和外推（超出该范围的配置）。例如，我们通过在物体仅生成于左侧区域（绿色）的场景上训练并在右侧区域（橙色）上测试来评估泛化，或者通过在 2 块和 5 块的堆叠高度上训练并在高度 3 和 4 上测试来评估泛化。

VLA 模型的空间泛化研究（结果基于 ManiFlow、π0.5 和 MolmoAct 2）。尽管进行了大规模预训练，这些流行的动作模型在初始结果中泛化表现不佳。我们改进了泛化能力并分析了每种技术的贡献。图表中的 LoRA 标签代表低秩适应，这是一种用少量可训练权重更新来微调模型的方法。我们认为动作模型的泛化仍远未解决；ToyBlocks 为系统探索泛化技术提供了有价值的测试平台。

高层推理：视觉-语言模型

长时程任务需要许多步骤，使我们能够衡量模型规划一系列动作以解决任务的能力。我们的框架使我们能够创建此类长时程任务，并在高层和低层创建预言机——提供正确计划或动作的参考组件。这使我们能够在模型任务失败时，区分是高层规划还是低层执行失败。一个示例长时程任务可能是用积木堆叠拼出“Ai2”；由于字母可能不会立即可见，智能体必须首先选择能够揭示信息的动作，然后规划并执行一系列动作来搭建堆叠。

我们评估具有显式高层规划和低层执行模型的层次化模型。在本例中，我们选择 Molmo 2（一个视觉-语言模型，VLM）作为高层规划器，选择 ManiFlow 作为低层策略。Molmo 2 选择要执行的技能以及在其上执行该技能的积木，而低层模型执行指令。我们训练 ManiFlow 等低层模型在完成执行后暂停，并向高层模型查询下一条指令。我们在三个难度递增的场景中评估模型的规划能力。最简单的场景初始化时每个字符都正立并面向相机。中等场景中的字符可能不正立，而最难的场景包含在回合开始时不可见的字符。

使用 Molmo 2 作为高层推理模型，并使用 ManiFlow 或运动规划器进行低层操作时，在三字母积木拼写任务上的成功率。一个示例任务是“堆叠 Ai2”。Molmo 2 和 ManiFlow 在 ToyBlocks 上训练，并在三种难度设置和两种泛化条件下进行评估。

高层推理：智能体系统

我们的智能体系统实验测试前沿模型如何通过工具调用进行规划和行动。我们使用 Claude Opus 5.5 研究了三种设置。在搜索与拼写设置中，我们通过模型上下文协议（MCP）——一种将 AI 应用连接到工具的标准——开放 ToyBlocks 技能。智能体通过相机图像观察场景，通过指向某个像素来调用 pick、flip 或 rotate 等技能，并决定何时搜索、搭建，或宣布任务完成或不可能完成。相同的 MCP 工具既可以执行生成 ToyBlocks 演示的脚本化技能（运动规划的抓取与放置，以及基于 RL 的旋转与翻转），也可以执行学习得到的 ManiFlow 技能。ToyBlocks 包含这些实验背后的框架，该框架也支撑了前文描述的自然语言网页界面。

一个前沿模型（Claude Fable 5.1）在 ToyBlocks 世界中控制机器人，搜索积木并将它们堆叠成拼出“Ai2”的塔。在该回合中，智能体思索道：“我需要弄清楚抓取与放置是否会自然地摆正方向，还是我需要手动纠正……我还剩 63 次调用，足够进行一次受控测试”（0:06）。智能体随后提出假设：“……也许夹爪的偏航角是径向的——从机器人基座指向积木”（0:15），并最终确认了这一假设（0:26），然后搭建了三块积木的塔，但‘A’是侧向的（1:11）。令人惊讶的是，当前的前沿模型尽管具备令人印象深刻的规划、空间推理和搜索能力，却常常犯类似的感知错误（见下一张图）。

对于经典规划，智能体（我们使用 Claude Opus 5.5 进行规划和选择动作的系统）使用文本描述，解决了 30 个一组积木堆叠任务中的全部 30 个，这些任务类似于几年前前沿模型难以应对的任务。它还在反复观察相机图像并在闭环中选择下一动作的情况下，解决了 30 个中的 30 个。

在搜索与拼写设置中，智能体必须生成拼出三字母单词的堆叠。它必须在场景中最多八块积木中找到带有相应字母的积木。重要的是，50% 的场景没有包含所有所需字母的积木，使任务不可行。在这种情况下，我们要求智能体说明任务不可行。我们发现，在该实验中，智能体能够成功解决或正确宣布不可行的任务占 63%。错误主要是由智能体将字母与形似字母混淆（13%）或为堆叠中的字母选择了错误方向（15%）造成的。

我们的结果还表明，当积木具有语义规律或模式时，智能体能够更高效地解决任务，利用这些模式来推理被遮挡的面。例如，在大多数不可行场景中，当积木没有模式时，智能体在宣布不可行之前会正确地查看所有积木的面，而当积木具有语义模式时，它能够显著更快地宣布不可行。

我们的第三个实验设置探究智能体能否像科学家一样利用实验来学习其技能的行为方式。当某项技能表现异常时，智能体会形成假设、设计一个小测试，并根据结果修正其理解。我们扩展了这一想法，让智能体运行自己的实验，并根据其发现编写自己的技能描述。这些学习得到的描述将成功率从默认描述的 24% 提高到 63%，超过了人类专家编写的描述所达到的 36%。

在每个“搜索与拼写”回合结束时，智能体已暴露的字母积木面所占比例（柱状图为 20 个回合的平均值；每个回合一个标记，按结果样式区分）。在可行任务中，三字母目标词的每个字母都存在；在不可行任务中，缺少一个字母，智能体应说明这一点。每块带模式的积木都带有某个字母的大写和小写实例，以及以该字母开头的图像（例如，A 积木：apple、ant、A、1、airplane、a）；无模式积木的六个面是随机且无关的。正确：塔拼出了该单词，或者对于不可行任务，智能体正确宣布任务不可能。字母旋转或形似：智能体搭建了塔，但某个字母被转动或替换成形似字母，包括五个不可行任务被宣布为已解决，而缺失字母的位置被形似字母替代。积木掉出可及范围；已报告：所需积木被推出机械臂可及范围，因此智能体报告其任务已变得不可能。未报告：智能体用尽了其运动技能预算并停止，未声称任一结果。使用带模式的积木时，智能体结束时看到的面更少，因为它可以推断隐藏面必定描绘什么，而不必逐一检查。

以动作条件世界模型作为模拟器

动作条件世界模型经过训练，能够预测场景如何随机器人的动作而变化。将它们用作基于模型的模拟器的替代方案，以训练和评估机器人策略，是一个活跃的研究领域。它们能否很好地服务于这一目的，取决于它们预测物理交互的准确程度，而在不知道场景真实状态的情况下，这很难衡量。ToyBlocks 提供了这一真实基准——即实际的模拟场景状态——从而能够对近期开发的世界模型在底层物体操作中的表现进行高度受控的测试。在这里，机械臂的末端执行器是其夹爪。

具体而言，我们测试了动作条件世界模型在基于示例执行进行训练后，是否能够预测积木的运动或技能执行的结果。为此，我们选择了四种不同的技能（拾取放置、翻转、旋转以及一个混合任务），并为每种技能生成了 900 条轨迹——即随时间变化的机器人状态和动作序列。这些轨迹中 50% 是该技能的成功演示，50% 则因空间配置的微小变化而失败。在成功与失败执行数量相等的情况下，一个总是预测成功的模型只有一半时间是正确的。这些模型在这些演示上进行了微调，然后测试它们预测相同技能动作序列结果的能力。

我们发现 Wan 2.2 对积木运动和任务结果的预测最为准确。Astra 能很好地跟踪夹爪，但在模拟接触方面存在困难。LeWM 速度快，在较短的交互片段上更准确，但在完整轨迹上会出现漂移。在额外实验中，我们还表明，在姿态和成功预测上得分更高的模型也能产生更好的训练数据：从最佳视频生成模型添加 100 条模型生成的轨迹（rollouts），可将策略在未见区域的成功率从 19% 提高到 78%。

我们测试了三种类型的模型：一个拥有 50 亿参数的视频预测模型（Wan 2.2）、一个创建了自己调整以匹配演示数据的物理模拟器的智能体模型（Astra），以及一个潜在世界模型（LeWM）。在测试期间，每个训练好的模型必须分别基于初始图像和动作序列来预测未来图像、模拟器状态或潜在状态（学习到的内部表示）。对于完整轨迹，模型仅使用初始图像作为唯一观察到的图像，以及动作序列。对于短交互片段——单次拾取、放置、翻转或旋转——模型从该交互之前的真实图像开始。完整轨迹展示了误差如何在长时程上累积，而交互片段则隔离出单次交互，例如夹爪与积木接触，并展示模型对其预测得有多好。为了公平比较模型，我们探查每个模型的预测，读出它预期积木和夹爪在轨迹不同位置所处的位置，以及它是否预期任务在结束时成功。

使用高层和低层模型的真实世界实验

仿真到现实的评估测试在模拟中训练的策略在物理机器人执行积木操作任务时的表现。通过比较仿真和真实世界执行，我们评估在仿真中观察到的行为和失败模式是否为真实世界性能提供有意义的指示。例如，研究人员可以评估单个技能及其在更长时程任务中的组合，以识别失败出现的位置，以及这些模式是否会延续到物理部署中。

我们测试完全在 ToyBlocks 仿真数据集上训练的模型能否零样本部署到真实世界，而无需在真实世界示例上训练。我们单独评估 ManiFlow 和每个低层技能（拾取、放置、翻转和旋转）。我们测试分层系统（Molmo 2 + ManiFlow）能否完成需要这些动作序列的长时程三积木拼写任务。真实世界实验使用 Franka FR3 机械臂和 Robotiq 夹爪，涵盖三十种场景配置。每个场景包含训练期间见过的 4–10 块积木。只有当相关积木被移动到目标姿态且未发生碰撞时，一个回合才算成功。如果操作员因回合期间的不安全运动而干预停止机器人，则该回合被标记为失败。

ManiFlow 的原子技能成功率在仿真和真实世界中相似（80.0% 和 81.1%）。分层 Molmo 2 + ManiFlow 系统在 55.5% 的仿真回合（111/200）和 50.0% 的真实世界回合（15/30）中成功；需要进一步试验以在各任务间建立统计置信度。

ManiFlow 低层模型与分层 Molmo 2–ManiFlow 系统在仿真和真实世界中的成功率。对于 ManiFlow，总数代表单个技能的执行次数（拾取、放置、翻转和旋转），而对于 Molmo 2–ManiFlow，则代表积木拼写任务回合数。Molmo 2–ManiFlow 的评估使用仿真评估中定义的最简单场景配置，积木字符可见且直立。

使用相同高层规划器的真实世界与仿真积木堆叠执行并排对比。粉色圆环标记规划器为每个技能设定的目标点。场景使用不同的积木标签，仿真回放经过重新计时，以将抓取和释放与真实机器人对齐。

为了将 Molmo 2 和 ManiFlow——两者均完全在 ToyBlocks 数据上训练——迁移到物理机器人，我们分三个阶段解决仿真与现实之间的差异。

在数据生成之前，我们通过调整仿真机器人参数（包括关节摩擦和电枢，即电机和齿轮箱在关节处反映的惯性）来进行系统辨识，以匹配真实机器人轨迹。在数据生成期间，我们对物理属性（物体尺寸、摩擦和桌面高度）和视觉属性（光照、背景、材质和相机参数）进行随机化。在推理时，观测使用前置 ZED 相机和腕部安装的 ZED Mini 采集。对于使用深度图像的策略，我们使用 FastFoundationStereo 从成对的红绿蓝（RGB）相机图像生成干净的深度图（估计每个像素的距离），而不是依赖有噪声的深度传感器测量。

物理 ToyBlocks 设置：一条机械臂、木制积木和一台相机。

开放工具以促进进一步研究

ToyBlocks 将数据生成、训练和评估连接在一个受控环境中，使研究人员能够研究机器人如何随时间学习，并测试模型或其训练数据的变化如何影响机器人行为。我们正在发布仿真资产、程序化任务与演示生成器、自动生成的演示、两个展示该框架能力的已训练模型（一个基于 Molmo 2，一个基于 ManiFlow）、训练代码，以及评估代码和验证集。这使其他团队能够构建自己的训练混合数据，并调查我们初始实验未覆盖的失败模式。

我们的初始数据发布是一个概念验证，包含 85,336 个长时程演示，每个演示根据数据集不同包含约 6–12 个技能演示。初始数据集覆盖近 1,600 小时的机器人执行数据和 1.44 亿帧。几周后，我们计划进行第二次发布，包含更大规模的数据集、更多技能和更全面的基准测试。我们还将添加当前软件包中未包含的完全集成的强化学习训练能力。

ToyBlocks 的其他方向包括双臂（两条手臂）操作和灵巧机器人手，配备力和触觉传感器，用于研究涉及频繁物理接触的运动和任务。我们还在探索对无结构积木堆的玩耍，作为收集数据并研究新行为和任务如何通过交互涌现的一种方式。

未来方向：基于强化学习的积木堆操作。

未来方向：双臂积木操作。

借助 ToyBlocks，我们希望推进机器人学习科学，迈向机器人能够可靠地将其所学应用于不熟悉的任务和环境的未来。我们鼓励研究社区探索 ToyBlocks 用于自己的研究，甚至作为构建自己的 FoundationWorlds 的基础。

本文提到的模型 2

allenai/Molmo2-4B-tb

allenai/maniflow-tb

本文提到的数据集 1

allenai/toyblocks-data

来自该作者的更多内容

StateBench：测试语言模型如何跟踪长文档中的状态变化

我们能信任 LLM 判断一个研究想法是否新颖吗？