用 SimReady 资产在 Isaac Sim 中搭建机器人抓取放置仿真
Build a Robot Pick-and-Place Simulation with SimReady Assets
NVIDIA 发布教程,演示如何用 SimReady 资产在 Isaac Sim 6.2 中搭建机器人抓取放置仿真:组合 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐,由 AI 智能体生成并执行任务代码。机械臂与夹爪的验证报告分别采用 Robot-Body 4.0.0 和 Robot-Gripper 3.0.0 profile,均通过 PhysX driven-joint 检查。示例使用 GPT-6 Sol,但其他能加载 Isaac Sim 技能并执行 Python 的智能体与模型组合也可尝试。
正文 · AI 翻译
什么让机器人资产成为 SimReady?
SimReady Foundation 定义了 OpenUSD 资产在仿真用例中需要具备哪些特性。其规范连接三个层级:
Profile(配置文件):针对某一用例的一组特性,例如机器人本体。
Features(特性):该用例所需的能力,例如可控制的关节。
Requirements(要求):对每项特性所需设置的检查,例如关节的驱动设置。
对于此任务,这些属性包括机械臂和夹爪的关节,以及饮料罐资产的碰撞和质量。验证会根据配置文件的要求检查这些设置。随后仿真会测试组装好的机器人能否利用这些设置来拾取并移动罐子。
资产自带什么,你需要添加什么?
UR17G、Robotiq 2F-140 和饮料罐资产包包含模型及其仿真设置。你需要组装场景并添加任务代码,以定义机械臂–夹爪组件、工作表面、起始位置,以及移动机械臂和开合夹爪的控制逻辑。
图 2. SimReady Central 提供资产模型和仿真设置,示例场景和控制逻辑则定义抓取放置任务。
在运行抓取放置任务之前应该检查什么?
机器人在 Isaac Sim 中静止时可能看起来视觉上正确,但仿真运行时却可能移动或与物体交互错误。在运行抓取放置之前,测试其关节、运动和接触行为。你可以让智能体执行这些测试,也可以在 Isaac Sim 中手动完成。
关节设置:检查机械臂和夹爪的关节限位和驱动设置。
运动:测试小幅机械臂运动,并开合夹爪。
接触:确认罐子停放在工作表面上而不会穿透掉落。
在抓取放置过程中,观察机械臂移动时饮料罐是否保持在夹爪中。资产结构各不相同,因此请以已加载场景中的设置为起点。我们将在下面的步骤中走完下载资产和合成场景的整个流程。
在 Isaac Sim 中搭建抓取放置仿真
本示例在 Isaac Sim 中组合 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐。任务是抓取罐子、将其提起、移动到目标位置并释放。你还可以利用 SimReady Central Space 搜索服务端点来查找 OEM 精选内容。
我们还将使用前沿 AI 模型来帮助在开放的 Isaac Sim 场景中创建并运行任务代码。本示例中我们使用 GPT-6 Sol,但如果其他智能体与模型组合能够加载所需技能并针对 Isaac Sim 执行 Python,也可能适用(生成的代码和结果可能有所不同)。提示词提供了起点。在调整任务之前,请检查生成的代码并验证最终行为。
所需软件:
安装 Isaac Sim 6.2(本示例使用的版本),并检查其系统要求。
设置一个能够使用 Isaac Sim 技能的智能体。按照 Agent Skills 文档使捆绑技能可供你的智能体使用。
仅当你选择命令行资产下载选项时,才安装 Hugging Face CLI。
使用 USD Search 端点。
第 1 步:下载机械臂、夹爪和饮料罐资产
打开 SimReady Central,找到此处使用的 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐。在每个资产上选择 Download,然后使用 Save to folder 或提供的 Hugging Face 命令。保持三个完整资产文件夹不变,以便 Isaac Sim 能找到其支持文件。
使用本示例中链接的资产版本,并向你的智能体提供机械臂、夹爪和饮料罐的本地 USD 文件路径。下面展示了一个夹爪路径示例;你的下载位置可能不同。
图 3. SimReady Central 搜索和交互式预览有助于识别本示例中使用的 Robotiq 2F-140 夹爪和饮料罐。
图 4. 饮料罐的下载选项包括将资产包保存到文件夹或使用 Hugging Face CLI。
资产验证告诉你什么?
机械臂验证报告使用 Robot-Body 4.0.0 配置文件,夹爪验证报告使用 Robot-Gripper 3.0.0。两者都记录了通过 PhysX driven-joint 检查,该检查会审查关节驱动设置。
SimReady 配置文件验证为复用这些资产提供了共享基线。随后抓取放置运行会测试机械臂、夹爪、罐子和控制器在组装场景中如何协同工作。
第 2 步:组装机器人并合成抓取放置场景
资产下载完成后,使用具备 Isaac Sim 技能的智能体来帮助组装机器人、运行验证工具并创建抓取放置控制逻辑。你也可以按照链接文档手动执行这些步骤。
从安装目录启动 Isaac Sim,并启用远程 Python 服务器,以便智能体可以通过 Python 与仿真交互:
如果你使用智能体,请确保从 Isaac Sim 目录启动它,以便在执行以下步骤时能够访问所需技能。
确认三个资产均能正常显示,没有文件缺失错误。让智能体检查机械臂和夹爪的关节限位与驱动设置,或者你自己在 Isaac Sim 中查看。机器人和夹爪包含物理关节,也可以在 Isaac Sim GUI 中测试和验证。接下来我们将组装机械臂和夹爪,以便将整个装配体作为单一关节结构进行控制。
你可以按照 Robot Assembler 教程进行手动组装。这里我们将让智能体完成组装并为我们验证:
本示例中使用的示例提示词:
智能体最终使用随 Isaac Sim 打包的“isaac-sim-remote”和“usd-articulation”技能来完成组装并验证机器人的物理属性。现在我们已拥有运行抓取放置所需的全部资产:组装好的机器人和饮料罐。接下来我们将进入工作流的最后部分。
图 5. Isaac Sim 中 UR17G 机械臂和 Robotiq 2F-140 夹爪的关节设置。
在场景中已有组装好的机器人和罐子后,让智能体运行该任务。使用下一步中的检查项评估仿真行为。
第 3 步:测试控制并运行抓取放置
现在资产已包含仿真属性和配置文件验证,我们可以在组装好的场景和控制器中进行测试。控制器协调 UR17G 机械臂的运动与 Robotiq 2F-140 夹爪的开合。使用下面的行为检查项评估智能体生成的任务。如需自行理解或调整控制器,请参阅 Adding a Manipulator Robot 教程。
本示例中使用的示例提示词:
使用的技能:“isaac-sim-remote”、“manipulaiton-ik”和“physics-simulation”
完整任务测试夹爪在移动过程中是否夹住罐子,并在目标位置释放。重置场景,然后运行接近、抓取、抬起、保持、转移和释放序列。将你的运行结果与开场视频和下面的成功标准进行比较。
图 6. UR17G 机械臂和 Robotiq 2F-140 夹爪在 Isaac Sim 中将饮料罐从黄色拾取标记移动到绿色目标。以 4 倍速显示。
如果你的运行结果不同,请记录序列失败的位置,并让智能体检查场景并生成控制逻辑。重试前将罐子和机器人重置到相同的初始状态,以便比较结果。
仿真假设:
固定设置:罐子从已知位置开始,机器人固定,工作空间平坦且无障碍。未使用视觉,碰撞检查有限。
简化罐子:未建模变形和液体运动,因此本示例不测试挤压。
脚本化抓取和运动:水平抓取使用通过仿真测试选定的 2 N·m 驱动力上限,未根据指尖力进行校准,也不是制造商推荐值。机械臂沿固定路点运动且不重新规划时,依靠接触和摩擦夹持饮料罐。有关硬件夹持力规格,请参阅 Robotiq 产品表。
这些结果适用于此脚本化设置。它们不能证明对不确定物体位置、不同负载或真实硬件的鲁棒性。
使用 SimReady 资产构建你的下一个仿真
使用 SimReady Central 中的资产构建你自己的抓取放置任务,然后使用你选择的智能体帮助组装场景并在 Isaac Sim 中运行。
探索资产
查找机器人和物体:在 Hugging Face 上浏览 SimReady Central。
查看资产支持的功能:结合资产的验证报告,查看 SimReady Foundation 中的配置文件和需求。
构建抓取放置场景
设置模拟器:按照 Isaac Sim 安装指南操作,使用本示例所用的版本。
连接你的智能体:按照 Isaac Sim Agent Skills 文档操作,使打包的技能可供你的智能体使用。
组装机器人:如果你希望手动连接机械臂和夹爪,请按照 Robot Assembler 教程操作。
准备并贡献内容
从 CAD 开始:按照 5 Steps to Create SimReady Assets for Robotics 准备你自己的机器人资产。
验证并提交资产:按照 SimReady Central 提交指南操作,使你的资产可供其他开发者使用。
如需灵感,可探索 Michael Wagner 的语音控制 VR 演示。两者都展示了开发者如何在自己的项目中使用 SimReady 资产。
你将构建什么?在 Hugging Face 评论中分享你的场景和结果,包括你使用的资产和 Isaac Sim 版本。
构建愉快!
本文提及的数据集 3
Robotiq-Official/simready-assets
TeradyneRobotics/UniversalRobots
nvidia/simready-assets
本文提及的 Space 1
SimReady Central
3D 资产的语义搜索:USD + RTX 仿真预览
来自该作者的更多内容
本文提及的数据集 3
Robotiq-Official/simready-assets
TeradyneRobotics/UniversalRobots
nvidia/simready-assets
本文提及的 Space 1
SimReady Central
3D 资产的语义搜索:USD + RTX 仿真预览