←新闻详情

Hugging Face更新于 10月25日 23:50

NVIDIA 在 Hugging Face 发布 SimReady Central 仿真就绪 3D 资产开放库

Announcing SimReady Central: An Open Library of Simulation-Ready 3D Assets for Robotics and AI Factories

AI 导读

NVIDIA 在 Hugging Face 上线 SimReady Central,这是一个面向机器人与 AI 工厂仿真的开放 3D 资产库,资产为带质量、碰撞几何、摩擦等仿真属性的 OpenUSD 格式。OEM 可借助 SimReady Central 提交技能按 SimReady 配置校验并提交 CAD 设备模型,开发者与 AI 智能体可通过 NVIDIA USD Search 用自然语言检索资产并组装成 Isaac Sim 场景。文中以 FANUC 机械臂配 Robotiq 夹爪的抓取放置场景和 AI 工厂布局对比为例,演示了借助 GPT-6 Astra 生成场景组装与校验代码的流程。

推荐理由

AI 评分 55

原文说明了 SimReady 资产需要哪些仿真属性,以及 OEM 如何提交、开发者如何用自然语言检索并组装场景。

主题

标签

正文 · AI 翻译

什么使资产成为 SimReady?

SimReady 资产是 OpenUSD 资产,已准备好模拟工作流所需的各项属性。详细的 3D 模型(例如 CAD)是有用的起点。模拟还需要关于该对象应如何被解读和使用的额外信息。

对于机器人操作任务,这可能包括对象的质量、碰撞几何和摩擦属性。对于 AI 工厂工作流,这可能包括应用所需的设备几何以及电气或热元数据。

OpenUSD 是一个开放、可扩展的框架,用于描述和组合 3D 场景。使用这些场景来训练和评估自主机器,还需要关于物理行为、碰撞和传感器交互的信息。

SimReady Foundation 提供规范、配置文件和验证工具,使这些要求明确化。配置文件定义了资产在特定用例中所需的功能和能力的逻辑分组。

图 1. SimReady Foundation 为特定模拟用例定义资产表示要求,而开发者库帮助根据这些要求准备和验证 OpenUSD 资产。

根据资产和配置文件的不同,这些功能可以包括:

有关每个模拟用例相关的要求,请参阅 SimReady Foundation 要求和配置文件。开发者应从 SimReady Central 中选择配置文件与其工作流需求匹配的资产,并将它们组合成 OpenUSD 场景。

为什么将 OEM 资产发布到 SimReady Central?

OEM 可以将其 CAD 设备模型转换为 SimReady 资产,供围绕其产品构建模拟的开发者使用。SimReady Central Library 使这些资产可在 Hugging Face 上被发现,帮助制造商触达构建机器人模拟和 AI 工厂数字孪生的团队。

对于像 Vertiv 这样的 AI 工厂 OEM,该库提供了一条分发资产的途径,例如仓库设备机架、服务器机架、冷却设备以及 AI 工厂数字孪生的支持基础设施。开发者和前沿智能体可以将这些资产纳入 AI 工厂数字孪生,复用其 SimReady 配置文件指定的几何和属性。

对于像 Comau、FANUC、Franka Robotics、Robotiq、Standard Bots 和 Universal Robots 这样的机器人 OEM,该库使机械臂和夹爪可被构建训练和评估环境的团队发现。开发者可以将这些资产与工业设备组合,构建仓库和工厂场景。

对于像 Palatial 这样的模拟资产提供商,该库收录了与 NVIDIA Robotics 合作发布的 NVIDIA Robotics 1K 数据集,以及根据文本、图像、扫描、数据表和 CAD 生成的复杂关节资产。开发者可以构建用于机器人训练和评估的资产和场景。

对于像 LG Electronics (LGE) 这样既开发家用机器人又开发与其配合使用的家电的 OEM,该库提供了一条共享冰箱和洗碗机等资产的途径。开发者可以使用融合了 LGE 在家电和机器人领域经验的资产,构建用于机器人训练、评估和合成数据生成的家庭模拟环境。

对于像 ForgeCAD 这样的 AI 辅助 CAD 提供商,该库提供具有高质量纹理的关节机器人道具,开发者可以使用这些道具构建用于机器人感知和操作训练的环境,以及合成数据生成。

为了贡献资产,OEM 可以使用 SimReady Central 提交技能,根据相关的 SimReady 配置文件验证资产、打包并提交以纳入该库。

图 2. OEM 根据 SimReady 配置文件准备和验证 OpenUSD 资产,然后将资产提交到 SimReady Central。开发者和 AI 智能体在该库中发现资产,并使用它们构建模拟环境。

使用 SimReady 资产构建模拟环境

SimReady Central 为机器人和工业开发者提供了一个可复用的起点,用于机器人工作单元、工业环境和 AI 工厂数字孪生。开发者和 AI 智能体可以在 SimReady Central 中找到符合其工作流所需配置文件的资产,并将它们组合成 OpenUSD 环境。

开发者可以使用 SimReady 资产为训练环境填充对象和障碍物,然后改变它们的摆放位置以评估机器人行为。这些环境可以支持诸如 Microduck 之类的项目,这是来自 Hugging Face 和 Pollen Robotics 的开源机器人。

图 3. 资产数据集通过 Hugging Face 上的 SimReady Central 连接,使用其 USD 搜索服务支持 Isaac 工作流、SimReady Central 库搜索和 AI 智能体工作流。

NVIDIA USD Search 为 SimReady Central Library 提供自然语言搜索支持,帮助开发者和 AI 智能体在参与的数据集中查找资产。Hugging Face 也已将 USD Search 集成到其平台搜索中,并索引了 USD 属性和仿真元数据,帮助智能体发现适合其物理 AI 仿真任务的 SimReady 资产。

AI 辅助创作提供了另一种利用这些资产进行构建的方式。开发者可以使用 OpenAI GPT-6 Astra 等前沿模型,结合资产搜索和场景创作工具,利用 SimReady Central Library 构建环境。根据任务要求和空间约束,Astra 可以帮助找到合适的资产、编写代码来组装场景,并创建场景变体。

OEM 还可以使用 Astra,在验证 OpenUSD 资产并将其提交到库之前,帮助按照 SimReady Foundation 的要求准备和优化这些资产。

构建机器人抓取放置场景

例如,一位构建机器人抓取放置场景的开发者可以从以下提示词开始:

使用 Hugging Face 上 SimReady Central 的 SimReady 资产,在 Isaac Sim 中使用 PhysX 创建一个基本的仓库抓取放置场景。使用 nvidia-simready-central.hf.space 查找 FANUC 机械臂、兼容的 Robotiq 夹爪和合适的仓库资产。生成 Python 代码来组装场景并配置抓取放置任务。渲染一个 .mov 预览,以便我查看结果。包含脚本、资产版本和运行时版本,以便我复现该场景。

在此工作流中,我们期望 Astra 执行以下操作:

查询 SimReady Search API,查找分布在 Hugging Face 上的相关资产

将它们引用/加载到 OpenUSD 舞台中

生成 Python 代码来组装工作单元

配置抓取放置任务

渲染预览供用户查看

图 4. 由 SimReady 资产组装的机器人抓取放置工作单元,展示了 AI 辅助场景创作如何将开发者需求转化为仿真场景,以便在 Isaac Sim 中查看和优化。

比较 AI 工厂布局

同样的方法可以支持构建 AI 工厂数字孪生的 ISV(独立软件供应商)。任务从机器人交互转变为设备放置:在指定的空间约束内布置机架、冷却设备和支持基础设施。

使用 Hugging Face 上 SimReady Central 的 SimReady 资产,创建两个包含机架和冷却设备的备选 AI 工厂布局。使用提供的设备尺寸和通道净空要求。检查设备重叠和净空违规情况,并报告任何问题。将每个布局保存为 OpenUSD 场景。包含场景构建脚本、资产版本和运行时版本,以便我复现并比较结果。

在此工作流中,Astra 会将选定的 SimReady 资产组装成两个 OpenUSD 布局,然后生成脚本来根据提供的要求检查设备重叠和通道净空。开发者随后可以在其仿真应用中检查布局,比较设备放置和访问路径,并在优化首选配置之前查看任何标记的问题。

图 5. 由 SimReady 资产组装的 AI 工厂布局,展示了 AI 辅助场景创作如何在 OpenUSD 中支持设备放置、通道净空检查和布局优化。

在这两个示例中,开发者可以通过以下几种方式扩展其环境:

复用环境:将布局和任务特定的更改保留在单独的 OpenUSD 层中,以便相同的源资产可以支持多个实验。

变化场景:从库中引入更多资产,并改变对象放置、设备配置或周围基础设施,以评估不同的条件。

构建特定于应用的测试:对于机器人,在 Isaac Lab 中配置训练和评估任务。对于 AI 工厂,将场景连接到配电或冷却性能等分析所需的设备数据和仿真工具。

将经过验证的布局投入运营:对于 AI 工厂,将场景连接到实时 BMS 和 IT 遥测,使数字孪生与 AI 工厂设施保持同步。

帮助塑造下一波资产

SimReady Central 的路线图包括更多 OEM 合作伙伴和不断增长的资产库,扩展开发者可以从可复用内容中组装的设备和环境。

社区反馈将有助于确定哪些新增内容最重要。请在评论中告诉我们您需要哪些资产、您使用哪些运行时,以及您在哪些方面遇到集成缺口。

使用资产提交指南提交 OEM 资产以纳入 SimReady Central。

OEM 贡献可以拓宽可用内容,而开发者示例可以展示资产在不同应用中的工作方式。在评论中分享您构建的示例,并在 SimReady Foundation 中提交 issue 以报告错误或提出 SimReady 需求功能请求。

开始在 Hugging Face 上构建 🤗

从 SimReady Central Library 中选择一个资产,用于您的下一个机器人仿真或 AI 工厂数字孪生。使用以下资源查找资产、构建场景或贡献设备模型。

发现资产

查找适合您任务的资产:Hugging Face 上的 SimReady Central Library

使用自然语言搜索:通过由 USD Search 提供支持的 SimReady Central 搜索端点描述您需要的资产。

构建你自己的资产浏览器:探索 SimReady Central GitHub 仓库中的索引到库技能。

构建场景

学习组装 OpenUSD 场景:跟随免费的 OpenUSD 学习路径。

培养你的机器人和数字孪生技能:探索免费的物理 AI 课程。

构建机器人仿真:从 Isaac Sim 和 Isaac Lab 开始。

构建 AI 工厂:从智能体辅助的数字孪生工作流开始。

准备并贡献内容

启动 OEM 贡献流程:遵循入门指南,并在 SimReady Central Library 文档中查找常见问题解答。

为你的资产选择要求:查看 SimReady Foundation 中的配置文件。

为仿真准备 CAD 模型:使用 CAD-to-SimReady 技能。

验证、打包并提交你的资产:遵循 SimReady Central 提交技能。

祝你构建愉快,我们迫不及待想看到你的创作!

来自该作者的更多内容

NVIDIA Nemotron 3.5 Embed、Rerank 和 Parse:以世界级检索模型推进智能体发展

来源

Hugging Face