开发者如何用前沿 AI 智能体与 NVIDIA Omniverse 构建仿真应用

您的浏览器不支持 HTML5 视频。这里改为提供视频链接。

将仿真构想转化为可运行的应用程序，意味着要整合各类资产、连接物理与渲染，并检查场景是否按预期运行。开发者正将前沿 AI 模型与 NVIDIA Omniverse 库相结合，以协助完成这些工作——构建用于探索场景、调查故障和改进设计的应用程序。

开发者通过自然语言指令指挥 AI 智能体，审阅结果并引导修改。Omniverse 库提供 GPU 加速的物理、渲染和传感器仿真能力。

浏览以下项目，了解 GPT-6 Astra 等前沿 AI 模型的实际应用，并请回访查看 NVIDIA 团队及生态系统内开发者提供的新示例。

为仓库环境构建人形机器人模拟器 🔗

在第一人称和第三人称视角下，体验基于物理的、游戏化的人形机器人控制。

在实现仓库任务自动化之前，开发者需要一个交互式仿真环境来探索任务行为并评估工作的完成方式。NVIDIA Omniverse 产品经理 Frank DeLise 使用 Astra 将一个 SimReady 仓库和人形机器人转变为具有第一人称和第三人称视角的交互式模拟器。

DeLise 指示 Astra 连接 NVIDIA Omniverse 的物理（ovphysx）、场景更新（ovstage）、渲染（ovrtx）和用户界面（ovui）库。他还将 Astra 与 SimReady（simready-foundation）配合使用，在仿真中创建物理场景。随后，Astra 生成了动画和应用程序代码，将这些能力整合在一起。

了解如何使用前沿 AI 模型和 NVIDIA Omniverse 库准备并验证 SimReady 机器人资产。

更改场景、传感器或驾驶模型会显著影响自动驾驶汽车仿真。NVIDIA 仿真技术团队经理 Doyub Kim 要求 Astra 构建 Zero to Alpamayo——一个基于旧金山 Market Street 的可复用仿真环境。

Kim 指示 Astra 规划出工作流程，然后分阶段连接资产创建、交通、Omniverse RTX 传感器仿真和 Alpamayo 驾驶，并逐一检查每项集成。最终的原型成为一个测试平台，用于比较模型并追踪场景或传感器变化如何影响下游驾驶行为。另一项 Cosmos3-Nano 实验则改变录制仿真视频中的天气和光照，使 Kim 能够比较驾驶模型在同一场景不同条件下的响应。

比较录制的与仿真的摄像头和激光雷达输出，可为开发者提供基于关键绩效指标的反馈，用于改进场景。

为了测试机器人和自动驾驶汽车，开发者需要了解仿真传感器与真实传感器的接近程度。负责 NVIDIA RTX 传感器验证工作的 Ashley Reid 指示 Astra 和 Claude Fable 5 智能体将 ovrtx 摄像头和原始 LiDAR 输出与录制数据进行比较。这些智能体从零创建了两个数字孪生，并改进了两个现有的数字孪生。

在大约三天的时间里，Reid 指导了一个迭代工作流程，其中智能体测量差异、创建或修改 OpenUSD 场景并检查结果。修改解决了缺失的对象、几何体和材质问题，验收取决于摄像头和 LiDAR 指标。这为开发者提供了一种利用测量到的差异来指导场景创建和改进的方法。

首先使用 ovrtx 最小 Python 示例渲染一个 OpenUSD 场景，然后定义一个传感器度量来与录制数据进行比较。

教机器人新动作意味着要检查这些动作在物理约束下是否可行。负责 NVIDIA Omniverse 工程和产品的 Tae Kim 使用体育视频和自然语言指令指导 Astra 构建 Robo Olympics，这是一个实验性项目，用于测试模拟的 Unitree G1 人形机器人执行体育动作。

在 Kim 的指导下，Astra 构建了控制器，并通过物理试验对其进行改进。Newton Physics Engine 模拟行为，开源 NVIDIA Warp 框架加速计算，ovrtx 渲染场景和虚拟摄像头图像。在一项实验中，该机器人在 100 次仿真试验中有 64 次成功跨过单个栏架。这些试验为 Kim 提供了改进机器人时机和控制的反馈。

观看 Kim 探索如何使用 Astra 和 NVIDIA Omniverse 库构建仿真。

在机器人能够拆卸产品之前，开发者需要了解其工具能否触及并移除零件。NVIDIA OpenUSD 高级产品经理 Jens Jebens 指示 Astra 在 PTC Onshape 中为汽车悬架建模，并在 NVIDIA Isaac Sim 中进行配置。

借助 Astra，Jebens 探索了由仿真提供信息的机器人计算机辅助设计和工具修订。该智能体测量了可用空间，并设计了一种扳手，使机器人能够用它触及悬架的螺栓。Jebens 报告称在仿真中成功移除了一个悬架部件。这将设计和工具决策与拆卸结果联系起来，为机器人策略训练提供了一个起点。

探索 Onshape 导入器指南。

将3D模型转化为应用，需要连接资产、实时数据和界面。NVIDIA工程总监Nic Johns提示Astra将NASA资产组装成一个带有遥测数据的OpenUSD国际空间站模型。Johns通过单条提示构建了该应用，随后又用一条后续提示将场景切换到地球的白天一侧，使地球清晰可见。

该工作流使用Blender进行资产准备，并使用Omniverse库进行渲染（ovrtx）、场景运行时（ovstage）和流式传输（ovstream）。该应用将3D模型和运行数据带入浏览器，Johns通过提示和修正来指导其开发。

试用Omniverse实时查看器技能。

数字化重建的房间需要可编辑的对象和准确的物理行为，开发者才能测试交互。来自NVIDIA Isaac工程应用团队的Chirag Majithia指导Astra将立体相机拍摄内容转化为可编辑的OpenUSD工作室。

该工作流结合了PyCuSFM、FoundationStereo和nvblox进行重建，并由用户审阅来指导对象选择和放置。Astra组装了生成资产和Blender创作的资产，并使用USD Content Agents配置对象在仿真中的移动和交互方式。Isaac Sim测试指导了门和抽屉的碰撞与接触修订。该工作室将捕获的几何结构与交互测试连接起来，使间隙和对象行为更易于检查。

探索USD Content Agents。

有仿真想法？探索NVIDIA Omniverse库，开始用AI智能体进行构建。