机器人技术 利用 AI 智能体在仿真中教 Microduck 等机器人行走 Microduck robot in an obstacle course with labeled ramps, platforms, a rubber mat, and other objects. 2026 年 10 月 23 日 作者： Gabriele Leone, Seun Doherty, Asier Arranz, Johnny Núñez 和 Asawaree Bhide 讨论 (0)

AI 生成的摘要

  • NVIDIA RTX Spark 充当本地开发中心，Hermes 和 Nemotron 3.5 Bolt 等 AI 智能体在此将提示词转化为分步项目计划，用于搭建仿真 Microduck 障碍赛道。
  • Astra 根据该计划创建 3D 仿真资产：通过云端图像编辑增强参考图，在 FreeCAD 中建模几何结构，在 Blender 中应用材质，并为环境导出可编辑模型和 USD 资产。
  • 障碍赛道在 NVIDIA Isaac Sim 中搭建，使用 Omniverse 库进行渲染和传感器仿真，并使用 Newton 对 Microduck 的运动和平衡进行物理建模。
  • NVIDIA Isaac Lab 在 NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU 上以 4,096 个并行环境大规模训练感知与运动策略，使用头部相机深度和机器人状态观测。
  • 训练好的策略在 RTX Spark 上通过 Isaac Sim 进行本地验证，检查障碍物检测、运动调整和赛道完成情况，然后再借助 Better Actuator Models 和域随机化为 sim-to-real 迁移做准备。

后续步骤

由 NVIDIA Nemotron 提供支持。AI 生成的内容可能对信息的总结不完整。请核实重要信息。 了解更多

教机器人通过障碍赛道，需要的不仅仅是一个行走策略。它必须感知周围环境、保持平衡，并在前方障碍物阻挡路径时调整动作。开发这些能力涉及多个阶段：创建资产和环境，使用 物理仿真 对机器人与环境的交互方式建模，以及在仿真中训练和评估策略。

NVIDIA RTX Spark 充当本地开发中心，支持 AI 辅助规划和策略验证。 NVIDIA Isaac Lab 提供用于云端 强化学习 的机器人学习框架， Newton 对物理行为建模， NVIDIA Omniverse 库 则通过 RTX 渲染生成仿真视觉观测。训练好的策略会返回 RTX Spark，在 NVIDIA Isaac Sim.

中进行本地评估。本文以 Microduck 作为参考机器人，演示整个工作流，并由 Hermes、NVIDIA Nemotron 和 Astra 协助完成规划与准备工作。你将了解如何创建仿真障碍赛道、训练导航策略，并在仿真中评估其行为——这一流程可适配到你自己的机器人和任务。这为物理部署奠定了基础，而仿真与真实世界行为之间的差异仍需进一步细化。

Workflow from planning on RTX Spark to asset creation, scene assembly in Isaac Sim, cloud training in Isaac Lab, local validation, and physical deployment.
图 1. 工作流概览

1. 创建障碍赛道计划

工作流始于一段描述障碍赛道以及 Microduck 需要学习内容的提示词。在 RTX Spark 上， Hermes 和 NVIDIA Nemotron 3.5 Bolt 将该提示词转化为分步项目计划。这些指令确立了预期任务、可用资源、预期输出以及智能体应遵循的各阶段。可使用以下示例来组织你的提示词：

Build and test a simulated Microduck obstacle course with navigation and locomotion challenges. Make a photorealistic concept image and have Astra build and test it.
...
Workflow
Use Hermes and Nemotron 3.5 Bolt for preparation and Astra for asset creation and simulation.
...
1. Research and plan
Review official Microduck documentation and summarize capabilities, constraints, and unknowns. Define the course layout, obstacle dimensions, clearances, and intended route.
...
2. Generate the concept
Use a verified Microduck reference image to generate a photorealistic course concept. Check robot appearance, relative scale, and movement space; save prompts and provenance.
...
3. Identify assets
Extract unique reusable assets, group repeated instances, and select representative crops. Record dimensions, locations, and reference limitations; preserve original images.
...
4. Prepare the handoff
Package the plan, robot brief, concept, asset inventory, crops, and execution instructions. Verify required files, delegate to Astra, and wait for confirmed results.
...
5. Create and verify assets
Have Astra enhance references, model geometry in FreeCAD, and apply materials in Blender. Before simulation, verify every asset is completed or demonstrably blocked, with at least one usable model.
...
6. Assemble and test
Verify robot capabilities, assemble the course, and test navigation, challenges, and resets. Provide reproducible instructions and evidence; do not operate physical hardware.
...

本地规划包括对 Microduck 的代码仓库和文档进行简要审查。该审查确定机器人的能力、后续工作所需资源，以及仍需核实的细节。最终计划不仅涵盖资产创建，还概述了环境搭建、机器人准备、仿真、训练、验证和部署。

赛道需要同时测试运动和感知能力。Microduck 必须学会绕过障碍物、穿过受限空间，同时保持平衡。请用这些要求来指导拟议布局以及搭建所需的物体。

本地图像生成模型会生成赛道的概念图。随后 Hermes 和 Nemotron 分析该图像，并创建其中可见、可复用资产的清单。每个资产都会获得一个标识符、对其可见特征的描述以及一张裁剪后的参考图。清单会记录物体被截断或遮挡的位置，以便后续阶段区分可见细节与假设。

Annotated obstacle-course concept above an asset inventory listing object IDs, labels, and image coordinates for ramps, platforms, a mat, and a work light.
图 2. 障碍赛道的概念图与资产提取

Hermes 将这些输出整合为一个交接包：整体项目计划、Microduck 研究与来源链接、概念图、资产清单、裁剪参考图以及后续阶段的说明。随后它会自动将工作委派给 Astra。该交接包为 Astra 提供继续工作所需的更广泛项目背景和资产规格。

Hermes and Nemotron on RTX Spark turn a prompt into a plan, course concept, and asset inventory, then hand off the package to Astra.
图 3. 将任务提示词转化为环境计划

2. 创建仿真资产

利用上一阶段的项目计划和参考图，Astra 创建赛道所需的 3D 资产。从较大的概念图中裁剪物体，可能会得到尺寸小、分辨率低的参考图。在建模之前，Astra 使用云端图像编辑来分离物体，并生成更清晰、分辨率更高的图像。

Astra 将增强后的参考图与原始裁剪图进行对比，检查轮廓、比例、颜色和显著特征是否保持一致。增强图像提供更清晰的建模指导，而原始图像则记录概念图中可见的内容。无法从图像中确定的尺寸和隐藏表面会被记录为建模假设。

Astra 指示 FreeCAD 构建基础几何体和可编辑的 CAD 结构，然后使用 Blender 添加精细的几何细节和材质。两个应用程序均通过程序化执行在本地运行。生成的资产保存为可编辑模型并导出为 USD 资产，同时提供预览和输出检查以供审查。

Work-light creation: tripod geometry in FreeCAD, light-head materials in Blender, and the completed light on its tripod.
图 4. 由 Astra 编排的 FreeCAD 建模（左）、Blender 材质（中）和最终资产（右）

你还可以从 SimReady Central Library获取资产，这是一个免费且无需门禁的库，包含 2,000 多个可直接用于仿真的 OpenUSD 资产。将它们与新生成的对象一起复用，可减少在 Isaac Sim 中搭建障碍赛道所需的资产准备工作。由此得到的资产成为 Microduck 在仿真中训练环境的基础构件。

Microduck stands among ramps, wooden steps, flight cases, and mats in an Isaac Sim obstacle course.
图 5. 使用 Astra 创建并在 Isaac Sim 中组装完成的障碍赛道资产

3. 搭建仿真环境

Astra 在 Isaac Sim 中使用准备好的资产组装障碍赛道。Isaac Sim 提供对 Omniverse 库的渲染和传感器仿真能力的访问，而 Newton 则对 Microduck 的物理行为（包括移动和平衡）进行建模。

机器人的关节结构和运动在仿真中通过连杆、关节和执行器来定义。这些元素建立了策略动作与仿真机器人之间的关系。连杆表示相互连接的刚体，关节约束它们的相对运动，执行器驱动运动。它们共同对机器人与环境的交互进行建模。AI 智能体可以帮助配置这些元素。

仿真传感器观测提供关于前方障碍物的信息。当机器人尝试行走时，仿真会记录其动作的后果：它是否保持姿态、在赛道中取得进展，还是踉跄跌倒。

最终形成一个完整的学习环境：一个能够行动的机器人、一个它可以与之交互的障碍赛道，以及一个能够根据这些交互生成反馈的仿真环境。强化学习（RL）利用这些反馈来训练机器人策略。

Isaac Sim editor showing the assembled course with Microduck, ramps, steps, boxes, flight cases, and work lights.
图 6. 在 Isaac Sim 中组装完成的环境

4. 训练感知与运动策略

在 Microduck 及其环境准备就绪后，NVIDIA Isaac Lab 提供了大规模训练和评估机器人策略的工具。这个开源框架可同时运行多个 Microduck 仿真，生成经验供 RL 算法用于改进其共享策略。

对于每个任务，你需要定义机器人观测什么、可以采取哪些动作，以及用于引导学习的奖励。然后使用 Isaac Lab API 实现该任务。 Newton是一个开源的 GPU 加速物理引擎，它模拟 Microduck 如何移动，以及如何响应这些动作与地面及其环境进行交互。

早期的尝试可能包括不稳定的步伐、碰撞和跌倒。训练算法利用这些结果和任务的奖励来更新策略，使其趋向更成功的行为。每次尝试都遵循相同的仿真循环：

仿真观测 → 策略动作 → 仿真运动 → 更新后的观测

Loop showing depth and robot-state observations feeding a policy, control commands driving simulated motion, and updated sensor readings returning to the policy.
图 7. 从观测到策略动作、仿真运动以及更新后观测的仿真循环

并行仿真可同时从多次尝试中提供经验来训练策略。在此任务中，坡道和不平坦表面是障碍物：Microduck 必须在保持平衡并避免跌倒的同时通过一段弯曲坡道。改变地形可让策略获得针对不同地面条件调整其运动的经验。

坡道和障碍物训练实验以之前各节中由 Astra 生成的资产以及 Isaac Lab Microduck 示例环境 作为起点。在该环境中预训练的运动策略在 Isaac Lab 中接受额外训练，以穿越坡道和障碍物，并使用头部相机深度和机器人状态观测。本次自适应运行在 NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU 上使用了 4,096 个并行环境。

Microduck climbs a platform; the view zooms out to reveal many robots training on different ramps and platforms in Isaac Lab.
图 8. 在 NVIDIA Isaac Lab 中进行并行训练，仿真的 Microduck 在穿越坡道和平台的同时学习保持平衡

5. 在 RTX Spark 上验证训练后的策略

训练完成后，在本地 RTX Spark 上的 Isaac Sim 中验证训练后的策略。Microduck 接收仿真观测、预测动作、在环境中移动，并根据策略对更新后的场景做出响应。检查 Microduck 是否能检测到障碍物、调整其运动并完成赛道。

此阶段将策略学习与策略评估分开。在训练期间，策略会随着获得新经验而变化。在评估期间，你检查所选策略的行为，并确定它在哪些方面成功或需要进一步改进。

记录赛道完成情况、跌倒、碰撞以及进展停止的情形。这些测量结果与 rollout 视频相结合，可以指导对环境或训练设置的迭代。

Microduck navigates an Isaac Sim obstacle course containing flight cases, boxes, and wooden barriers.
图 9. 在 RTX Spark 上的 Isaac Sim 中测试 Microduck 策略

6. 为在物理机器人上部署策略做准备

一旦策略在仿真中表现可靠，下一步就是在机器人的板载计算机上运行它。本文涵盖到此为止的工作：创建资产、搭建环境，以及训练和评估策略。详细的硬件部署不在讨论范围内。

为仿真到现实的迁移做准备，首先要有一个能够反映真实机器人行为的仿真。Isaac Lab 支持 Better Actuator Models (BAM) 来对伺服响应进行建模，包括指令延迟、机械背隙（传动系统中的少量间隙），以及电机从共享电池取电时出现的电压下降。将这些设置与 Microduck 的测量值相匹配，有助于缩小仿真到现实的差距。

即使模型经过仔细校准，真实机器人上的传感器、地面接触和控制时序也可能有所不同。Isaac Lab 的 域随机化 在现实范围内改变物理参数和观测噪声，让策略练习处理这些差异。随后硬件测试会显示哪些地方需要进一步调整，从而指导下一轮仿真、训练和验证。

图 10 展示了在 Isaac Lab 中训练的运动策略在物理 Microduck 上运行。

Physical Microduck walking and turning on a tiled floor.
图 10. 物理 Microduck 使用在 Isaac Lab 中训练的运动策略行走

开始使用

该工作流将 AI 辅助规划、仿真、资产创建以及机器人策略训练与评估连接起来。它结合了本地资产与环境生成、云端规模的策略学习，以及在 RTX Spark 上的本地策略验证。AI 智能体将提示词转化为计划，Isaac Lab 支持策略训练，Isaac Sim 支持部署前的评估。

进一步了解此工作流中使用的平台，并在其文档中尝试这些示例：

致谢

该工作流由 NVIDIA 多个团队协作开发，包括：

Aaron Young、Antoine Richard、Chase Telegin、Gavriel State、Hammad Mazhar、Kelly Guo、Milad Rakhsha、Oyindamola Omotuyi、Pierre Fleau、Rishabh Chadha、Rogelio Olguin、Ruben D’Sa 和 Yenal Kal。

讨论 (0)

标签

智能体 AI / 生成式 AI | 机器人技术 | 仿真 / 建模 / 设计 | 通用 | Isaac Lab | Isaac Sim | 中级技术 | 教程 | 机器人导航

关于作者

Avatar photo 关于 Gabriele Leone
Gabriele Leone 是 NVIDIA 实时内容技术团队总监，领导一支由工程师、技术美术和设计师组成的多学科团队，致力于推进实时计算机图形、机器人和 AI 开发的前沿。Gabriele 毕业于 ArtCenter College of Design，获得工业设计学位，在电影、视频游戏和产品行业积累了丰富经验，曾为 Activision Blizzard、Kojima Productions、Paramount Pictures 和 Intuitive Surgical 等知名公司做出贡献。 查看 Gabriele Leone 的所有文章 Avatar photo 关于 Seun Doherty
Oluwaseun “Seun” Doherty 是 NVIDIA 的机器人技术营销工程师，负责 NVIDIA Isaac Sim 和 Isaac Lab 相关工作。他构建并评估仿真和机器人学习工作流，并创作技术内容，帮助开发者使用这些工具。他的工作还包括智能体机器人技术，在那里他开发 AI 辅助的仿真和机器人学习方法。他拥有东南路易斯安那大学计算机科学学士学位，辅修数学。 查看 Seun Doherty 的所有文章 Asier Arranz holding robotic arms. 关于 Asier Arranz
Asier Arranz 将应用研究与 Physical AI 相结合，与创客、构建者、学生和研究人员合作。他的工作涵盖 GPU 加速仿真、机器人学习和边缘智能体 AI，使用 NVIDIA Isaac Sim、Isaac Lab、Newton、GR00T 和 Jetson。通过实践演示和研讨会，他分享所学，并帮助他人将新兴 AI 能力转化为可复现的机器人工作流，包括使用可复用智能体技能实现自动化。在加入 NVIDIA 之前，他曾在 IBM Research 从事量子计算工作。他还热衷于虚拟现实和天文学，驱动力来自好奇心和对尝试新想法的热爱。 查看 Asier Arranz 的所有文章 Avatar photo 关于 Johnny Núñez
Johnny Núñez 在 NVIDIA 从事应用研究、Physical AI 和机器人技术工作。他使用 NVIDIA Isaac Sim、Isaac Lab、Newton、GR00T 和 Cosmos 构建硬件无关的工作流，用于 GPU 加速仿真、机器人学习和智能体 AI，将仿真与现实世界部署连接起来。通过开源贡献、实践演示和研讨会，他帮助开发者创建可复现的机器人工作流，并使用可复用智能体技能实现自动化。他的研究背景包括计算机视觉和人-机器人-物体交互，兴趣涵盖生成式 AI、心理学和神经科学。 查看 Johnny Núñez 的所有文章 Avatar photo 关于 Asawaree Bhide
Asawaree Bhide 是 NVIDIA 的技术营销工程师，从事 Jetson 平台上的机器人和深度学习应用工作。她在佐治亚理工学院获得计算机科学硕士学位，热衷于解决具身智能体自主导航中的复杂感知任务。 查看 Asawaree Bhide 的所有文章

评论