AI News

NVIDIA 在 CoRL 发布 GR00T 2 世界动作模型与 Isaac Lab 3.0

NVIDIA:Newsroom更新于 11月9日 23:04

Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation | NVIDIA Blog

AI 导读

NVIDIA 在 CoRL 上发布基于 Cosmos 构建的开放世界动作模型 GR00T 2,在 50 个任务上每任务仅用一次演示即达到 71% 平均成功率,五次演示提升至 95%,并在无任务专属演示情况下完成 50 个评测任务中的 40 个。同时发布开源机器人学习框架 Isaac Lab 3.0,与 Newton 物理引擎集成后可模拟线缆、布料等可变形物体,在基于视觉的灵巧操作基准上训练吞吐最高达 Isaac Lab 2.3 配合 PhysX 的 2.5 倍。NVIDIA 还推出 Isaac Lab-Arena 0.4 开发者预览版及 DexBench、VABAR 两个开放基准,并与 Ambi Robotics、Bosch Research、Siemens、UC Berkeley 等伙伴合作推进智能体机器人工作流。

推荐理由

AI 评分 50

原文列出 GR00T 2 在少样本任务上的成功率与 Isaac Lab 3.0 的训练吞吐提升,可据此判断机器人仿真训练工具链的当前水位。

主题

标签

正文 · AI 翻译

长期以来,仿真一直是机器人学习行走、滚动和跳跃的试验场,如今它正帮助研究人员教机器人完成需要更精细触觉的任务:对齐齿轮、连接线缆以及组装小型部件。

在本周于德克萨斯州奥斯汀举行的机器人学习会议(CoRL)上,从运动到操作的转变成为焦点,与此同时,智能体机器人(agentic robotics)正在兴起——这是一种新范式,它集成前沿智能体,为物理机器人系统生成可解释的代码。

在 CoRL 上,NVIDIA 推出新的开放机器人技术,包括世界动作模型、仿真工具、基准测试和智能体工作流。

在 CoRL 最佳论文奖的数千份投稿中,有两篇 NVIDIA 论文跻身六篇入围论文之列:

GRAIL(Generating Humanoid Loco-Manipulation from World Models,从世界模型生成人形移动操作),提出了一套用于机器人学习的 3D 资产和可直接用于仿真器的场景的数字生成流水线。

RoboTTT: Context Scaling for Robot Policies(机器人策略的上下文扩展),提出了一种机器人模型和训练方法,可将视觉运动上下文扩展到超越当前最先进策略三个数量级的规模,而不会增加推理延迟。

这些进展帮助研究人员在复杂任务上训练机器人、在变化条件下评估其性能,并利用失败来指导进一步学习——从而构建从实验室演示走向工业部署所需的精度、适应性和自主性。

NVIDIA 正与 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics 和华盛顿大学等合作伙伴携手,将这些进展带给更广泛的机器人社区。

下一层次的机器人自主性要求机器人感知周围环境、预判其行动将如何改变环境,并以高精度执行复杂的多步骤任务。世界动作模型正是为此而生。

在 CoRL 上,NVIDIA 推出 GR00T 2,这是一个基于 NVIDIA Cosmos 构建的开放前沿世界动作模型。该模型在多样化的机器人和人类数据(包括 100,000 小时的 NVIDIA 开源人类自我中心数据)上训练,使机器人能够学习灵巧操作技能。主要特性包括:

开箱即用性能:在没有任务专属演示的情况下,至少完成一次 50 个评测任务中的 40 个。

技能迁移:从人类演示中学习,并在不同机器人本体之间迁移技能,无需机器人演示

少数据泛化:在 50 个任务上,每个任务仅用一次演示即达到 71% 的平均成功率,五次演示提升至 95%。

智能体控制:AI 智能体可以使用 GR00T 2 的应用程序编程接口和配套工具,按顺序运行技能并从错误中恢复。

在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 基准测试中,GR00T 2 目前在所有视觉语言动作和世界动作模型类别中均位列前三,并多次在排行榜上夺冠。

Nexuni 正在测试其用于机器人洗衣处理,Foxconn 正将 GR00T 2 应用于服务器制造的工厂自动化,Siemens 正在评估其在各类工业用例中的表现。

MicroAGI 正在使用通过强化学习后训练的 GR00T 2,以 YAM 机械臂执行以太网线缆更换。其智能体机器人方法利用 Isaac Lab 3.0 和 Newton 自动完成仿真环境的创建与校准,并在其中训练策略。该智能体机器人工作流将在 CoRL 上演示。

训练有能力的机器人需要多样化的数据。开放的 NVIDIA 工作流和模型为研究人员提供了更好的数据收集和标注工具:

对于构建机器人训练数据集的研究人员,NVIDIA 新的开放 Video to Data 工作流可将人类视频转化为仿真机器人演示,并设有一项挑战赛,邀请研究人员推进这一工作。

NVIDIA EgoHand 开放模型——正在 CoRL 上演示,自发布两周内在 Hugging Face 上的下载量已超过 40,000 次——可重建 3D 手部运动,其训练数据来自 Noitom Robotics。

训练与扩展发生的地方——仿真

预训练模型为机器人提供了一套核心技能。仿真让研究人员能够在将技能部署到物理机器人之前,大规模地训练、优化和评估这些技能。

NVIDIA Isaac Lab 是一个开源机器人学习框架,为这项工作提供了基础。其最新版本 Isaac Lab 3.0 允许研究人员使用智能体,借助可直接用于仿真的资产快速搭建训练环境,在 NVIDIA PhysX 和 Newton 物理求解器之间切换,为基于感知的训练选择渲染器,并将新的强化学习后训练库应用于 GR00T 等基础模型。

准确的物理模拟对于将学到的技能从仿真迁移到真实机器人至关重要。与开源物理引擎 Newton 的更紧密集成,使 Isaac Lab 现在能够对线缆和布料等可变形物体进行建模,也能对具有许多相互作用的关节的机械手等复杂关节系统进行建模。

与 Newton 的集成可模拟草莓在机器人抓握下如何变形。

Isaac Lab 和 Newton 将准确的物理模拟与规模相结合,使研究人员能够并行训练数千个仿真机器人。在基于视觉的灵巧操作基准测试中,采用 Newton 的 Isaac Lab 3.0 实现了最高达采用 PhysX 的 Isaac Lab 2.3 的 2.5 倍训练吞吐量。

Isaac Lab 支持使用 Newton 和 NVIDIA PhysX 进行机器人仿真。

开发者正在扩展 Newton 的能力。在 CoRL 上,Skild AI 发布了 Scalable Throughput-optimized Engine for Embodied Learning(即可扩展吞吐量优化的具身学习引擎,简称 STEEL),这是一个基于 Newton 构建的新刚体物理求解器,用于借助 Isaac Lab 加速机器人训练。

Skild AI 的 STEEL 求解器。

Flexion 展示了 Isaac Lab 和 Newton 如何帮助训练 Reflect,这是其结合推理与全身操作的机器人智能模型。

Flexion 使用 Newton 配合 Isaac Lab 进行强化学习。

FieldAI 正在使用 Newton——以及基于 NVIDIA Omniverse 库构建的 Isaac Lab 和 Isaac Sim——来训练和验证机器人策略,以便部署到非结构化的真实环境中。Dyna Robotics 将演示 Isaac Lab 中的并行仿真如何帮助为其半人形 Taku 机器人训练全身控制器,用于仓库、酒店和餐饮服务工作。

Walden Robotics 正在使用 Isaac Sim 的逼真渲染,在面向制造和物流的虚拟环境中训练和评估其通用机器人,而 Dexmate 正在探索编码智能体如何在 Isaac Sim 中演练和优化操作策略,然后再在其 Vega 机器人上执行。

在 Isaac Lab 中构建的 AlphaNIST 展示了高效练习如何转化为精度。单一策略学会了 NIST 装配任务板上的全部 20 项任务,仅使用是或否的成功信号来操作毫米级零件。它实现了超过 98% 的训练成功率,而各任务单独策略为 81%,且使用的 GPU 时间约少 39 倍。

AlphaNIST 使用 Isaac Lab 在 NIST 装配任务板上训练单一机器人策略完成 20 项精密任务。

这些成果的背后是来自华盛顿大学和 NVIDIA 的成功引导采样(Success-Guided Sampling,简称 SGS)。该方法将练习集中在策略成功率约为一半的任务上,把训练引导至它仍在学习的技能。借助 SGS,机器人训练可以扩展到超过一百万个并行环境。

德克萨斯大学奥斯汀分校计算学院和 Texas Robotics 使用 Isaac Sim 和 Isaac Lab 在仿真中训练机器人技能,让学生能够在物理硬件可用之前就开始开发。

学会一项技能是一回事。在变化的条件中可靠地执行它则是另一回事。

NVIDIA Isaac Lab-Arena 是一个用于规模化策略评估的开源框架,使开发者能够组合多样且可重复的评估,然后并行地在数千种变体中运行策略。分析可揭示哪些条件导致失败,从而让研究人员知道在下一次训练运行中需要修正什么。其最新版本 0.4 的开发者预览版将在 CoRL 上推出。

DexBench 和 VABAR 是两个新的开放基准,它们是最早一批旨在使用 Isaac Lab-Arena 和 Newton 衡量机器人在工业任务中的灵巧性和适应性的基准。

DexBench 由 RLWRLD 与 NVIDIA 合作开发,将灵巧性评估从桌面带入真实工作流程。它使用 NVIDIA Isaac Lab-Arena 构建,包含横跨零售、物流、制造和酒店服务四个场景的 15 项任务,测试在物体、空间和物理变化方面的泛化能力。

Genesis AI、mimic robotics 及其他行业合作伙伴正在通过早期访问评估 DexBench。

团队可以在 Bifrost 用于扩展机器人仿真的评估平台 Manifold 上运行 DexBench,无需任何设置,内置失败分析,并提供用于初始评估的免费额度。

VABAR——面向智能体机器人的变分自动化基准(Variational Automation Benchmark for Agentic Robotics)——由 UC Berkeley 和 NVIDIA 推出,评估机器人在六项工业任务中的表现。每项任务都带有标准化变体、难度层级和成功指标。

一个仿真的工具分拣任务展示了 VABAR 如何评估工业工作流程中的机器人操作技能。

成功完成任务需要机器人协调多项技能,并在出现问题时做出调整。为这些多步骤任务构建可靠的程序仍然是一项挑战。

智能体机器人有助于解决这一挑战。

UC Berkeley 的新框架 Graph-as-Policy(GaP)使用智能体将各项技能连接成机器人程序。智能体使用 NVIDIA Isaac 开放仿真技术测试这些程序,并根据失败进行优化。这帮助研究人员以更少的数据扩展开发,同时保持程序可解释,便于工程师在部署前审查和验证。

GaP 使用智能体和仿真将单个机器人技能转化为协调动作,例如擦拭吧台。

“对我来说,智能体机器人是自 1995 年互联网以来最令人兴奋的技术发展,”UC Berkeley 机器人学教授、VABAR 和 GaP 项目负责人 Ken Goldberg 表示。

Ambi Robotics 正在探索将 GaP 用于工业自动化。

Ambi Robotics、Bosch Research 和 Siemens 都在探索将 GaP 用于其跨多种工业场景的智能体机器人工作流程。

加入 NVIDIA 在 CoRL 的活动以了解更多。

工业与制造

来源

NVIDIA:Newsroom