由编码智能体编排物理 AI 数据的整理、增强、生成和标注。
2026 年 11 月 18 日
作者: Nakul Arora
讨论(0)
AI 生成的摘要
- NVIDIA Cosmos 是一个用于开发世界模型的开放平台,汇集了前沿模型、数据集、框架和技能。
- NVIDIA Cosmos Data Factory(CDF) 提供五个云原生蓝图和六项可组合技能,以加速物理 AI 数据的整理、处理和合成数据生成。
- CDF Orchestration 核心技能可协调工作流步骤、部署所需服务,并在集群上管理全部五个参考蓝图的执行。
- 五种训练数据用例包括:生成用于自动驾驶车辆训练的驾驶场景、增强用于搜索和再识别的图像属性、针对不同天气和光照条件增强视频、生成稀有事件视频,以及生成用于视觉检测的缺陷图像。
- Auto Labeling、AnomalyGen、Augmentation、Curation and Retrieval、Simulation 和 Orchestration 等核心智能体技能既可独立使用,也可组合起来构建自定义工作流。
- NVIDIA 在一台配备八块 NVIDIA RTX PRO 6000 Blackwell 系列 GPU 的云服务器上测量了每日吞吐量。结果显示,与传统方法相比,数据集组装速度最高可提升 60 倍,自动驾驶车辆场景的生成成本可降低 45 倍。
后续步骤
- 探索 NVIDIA Cosmos Data Factory 的蓝图和可组合技能,加速数据整理与合成数据生成。
- 观看 《用两段提示词构建可用于训练的数据集》 直播,了解如何为自动驾驶车辆、机器人和视觉 AI 智能体整理并增强数据集。
世界模型 的准确性始于高质量、多样化的训练数据集。然而,采集稀有缺陷、夜间事故及其他高难度场景既昂贵又耗时。将原始数据转化为可用于训练的数据集会进一步增加复杂性,尤其是在使用彼此割裂的工具和手动流程进行整理、标注、生成和评估时。
NVIDIA 技术正在帮助开发者更轻松地大规模构建高质量、多样化的训练数据集,用于 物理 AI。. NVIDIA Cosmos 是一个开放的 前沿模型、数据集、框架和技能平台,用于开发世界模型。作为该平台的一部分, NVIDIA Cosmos Data Factory(CDF) 包含五个云原生蓝图和六项可组合技能,可加速数据整理、处理和 合成数据生成(SDG)。前沿 AI 智能体 可用于编排这些蓝图,实现无需人工干预的提示词到数据生成流程。
本文将介绍如何在 Cosmos 中仅用两段提示词整理和增强数据集,或创建异常事件,用于训练物理 AI 模型。其中涵盖五种不同的用例。
设置和配置 Cosmos 蓝图与技能:提示词 1
Cosmos Data Factory 包含五个用于常见任务的参考蓝图。所有五个蓝图均通过 CDF Orchestration 核心技能运行;该技能负责协调工作流步骤、部署所需服务,并管理在集群上的执行。
要进行设置,请在编码智能体中输入以下提示词:
Example prompt:“Clone the CDF Orchestration repository, then run orchestration preflight and setup.” |
|---|
Preflight 会在不进行任何更改的情况下检查您的环境,并标出所有缺失项。这些检查通过后,setup 会准备好运行蓝图所需的环境。
针对您的训练数据用例运行蓝图:提示词 2
本节介绍运行蓝图的五种训练数据用例,并提供示例提示词:
- 生成用于自动驾驶车辆(AV)训练的驾驶场景
- 增强用于搜索和再识别的图像属性
- 针对不同天气、光照和环境增强视频
- 生成用于模型训练的稀有事件视频
- 生成用于视觉检测的缺陷图像
如果您已有视频片段或图像,需要进行整理并增加多样性,本节的第一个用例将介绍如何生成驾驶场景、改变人物图像中的服装属性,以及针对不同天气、光照和环境条件转换视频。这些增强用例能够扩充现有数据的多样性,但有些训练数据缺口需要通过创建全新的事件或缺陷来填补。
您的模型可能需要识别泄漏的产品或有缺陷的电路板,但数据集中可能只有少量示例,甚至完全没有。等待采集足够多的稀有案例可能需要数年,而人为布置这些场景可能既危险又昂贵。最后两个用例介绍如何利用图像或 3D 资产生成稀有事件视频和缺陷图像,以填补这些缺口。
用例 1:生成用于 AV 训练的驾驶场景
该 自动驾驶车辆数据集生成蓝图 可帮助您搜索大型驾驶场景数据库,并生成用于下游模型训练和验证任务的新数据集。 NVIDIA Cosmos Curator 从输入的视频数据集中提取元数据, NVIDIA Cosmos Dataset Search 则通过这些嵌入向量查找相关视频。检索到的视频会传递给 NVIDIA Cosmos3-Super-Image2Video 进行风格迁移, Cosmos Evaluator 随后检查所生成视频在物理层面是否合理。
Example prompt:“Search for driving scenes similar to our input video.mp4, transform them into rainy, snowy, and foggy while preserving layout and motion, and check physical plausibility.” |
|---|

用例 2: 增强用于搜索和再识别的图像属性
该 图像属性增强参考蓝图 可生成不同的人物裁剪图像变体,并对服装类型、配饰和颜色等属性进行可控更改。LLM 会将您选择的属性转换为结构化修改提示词,用于生成源图像的增强变体。Cosmos Evaluator 会确认所要求的服装属性是否呈现。随后,该蓝图会自动为结果标注服装属性和搜索查询,以用于人物搜索和再识别。
Example prompt:“Augment the person crops in <input-bucket>, three clothing variants per person, and write the output to <output-bucket>.” |
|---|

用例 3:针对不同天气、光照和环境增强视频
该 视频数据增强参考蓝图 可在保留场景结构的同时,针对不同天气、光照和环境条件转换您的现有视频片段。一个 视觉语言模型(VLM) 会描述您的源视频,并将描述与您要求的条件结合成结构化提示词,供 Cosmos3-Nano 用于生成增强变体。
Cosmos Evaluator 会检查每个生成的视频片段中是否存在源视频没有的运动伪影,确认您要求的条件是否确实呈现,并评估运动在物理层面是否合理。接下来,该蓝图会通过检测、跟踪和字幕功能,自动标注源视频和生成的视频。然后,它会为您提供可直接用于训练的数据集。
Example prompt: “Run video data augmentation on the videos in <input-bucket>, create 3 augmentations for yellow lighting, dim lighting and red table. Write the output to <output-bucket>.” |
|---|

用例 4:生成用于模型训练的稀有事件视频
该 事件视频生成参考蓝图 使用源图像创建火灾、跌倒或入店行窃等罕见事件的视频。视觉语言模型(VLM)会将对场景的描述与您要求的事件结合起来,生成结构化提示词。Cosmos3-Super-Image2Video 在保留源图像视角和布局的同时生成视频片段。
Cosmos Evaluator 会检查事件是否出现以及运动在物理层面是否合理,并对未通过检查的视频片段重试。通过检查的视频片段会自动获得检测、轨迹、字幕和语义注释,以供下游训练使用。
Example prompt:“Run the Event Video Generation blueprint on the image in <input-bucket> to generate 3 clips: normal traffic, stalled vehicle, and collision at the intersection. Write the output to <output-bucket>.” |
|---|

用例 5:生成用于视觉检测的缺陷图像
该 缺陷图像生成参考蓝图 可根据无缺陷的检测图像或电路板、玻璃面板、金属表面等零部件的 3D USD 资产创建缺陷样本。对于 3D 资产, NVIDIA Isaac Sim 可渲染检测图像和掩码,Qwen-Image-Edit 则会创建逼真的无缺陷参考图像,称为黄金图像。
Cosmos 3 Super 使用这些图像、缺陷掩码以及您要求的缺陷类型来生成缺陷,同时保持周围零部件不变。该模型已针对印刷电路板(PCB)、玻璃和金属完成微调,并提供进一步的微调技能以支持其他用例。您将获得黄金图像、合成缺陷图像,以及可将每项结果追溯至其来源和生成设置的清单。
Example prompt:“Run the Defect Image Generation blueprint and generate shift structural defects for images in <input-bucket> with full board coverage. Write the output to <output-bucket>.” |
|---|

如何使用核心智能体技能和工具完成筛选、搜索和标注等特定任务
上一节所述的蓝图由六项核心 智能体技能: 自动标注, AnomalyGen, 增强, 筛选与检索, 仿真、以及 编排。您可以单独使用这些技能,也可以将它们组合起来,围绕您自己的数据和目标构建工作流。
- 自动标注: 将原始视频和图像转换为带有检测、跟踪、字幕和场景理解注释的数据集。
- AnomalyGen:根据少量示例创建带掩码的逼真缺陷图像,用于视觉检测。
- 增强:使用 Cosmos 模型生成视频和图像的视觉变体,以模拟您无法采集的条件。
- 筛选与检索:使用 Cosmos Curator 和 Cosmos Dataset Search 在大型素材库中查找视频片段和图像。
- 仿真: 使用 Isaac Sim 和 Omniverse Replicator 从 3D 场景渲染逼真且带完整标注的图像。
- 编排:在您的集群上运行参考蓝图,部署每个蓝图所需的服务并进行扩缩容。
Example prompt:Clone the auto labeling repo https://github.com/NVIDIA/cdf-auto-labeling/tree/main. Perform video auto-labeling to label my videos at <input-bucket>. Save outputs to <output-bucket>. Use the locally deployed model at <endpoint> for VLM and LLM. |
|---|

对于专注于筛选与检索的工作流,可使用 Cosmos Curator 处理并自动标注原始视频和多模态数据,并使用 Cosmos Dataset Search 在大型数据集中查找目标训练场景。Cosmos Curator 现已支持多摄像头视频、IMU 和 GPS 输入,其传感器库还初步支持激光雷达。可复用的 Python 处理组件以及 Slurm 上的 Managed Ray 编排,可帮助团队关联传感器观测结果、测试筛选策略并利用闲置的 GPU 容量。
计划中的扩展包括更多激光雷达设备、雷达及其他传感器类型。Cosmos Dataset Search 现已基于 Apache 2.0 许可证开源,通过多嵌入检索和自适应智能体重排序(抢先体验),将元数据、场景语义、空间关系和时间行为结合起来。其模块化 API 和智能体技能可为训练数据集或上述增强蓝图检索相关视频片段。
生成 训练数据,速度最高提升 60 倍 ,成本可降低 45倍 ,更加经济实惠
Cosmos Data Factory 技能和蓝图可将难以采集的训练数据转化为由您掌控的计算工作负载。NVIDIA 团队在一台配备八块 NVIDIA RTX PRO 6000 Blackwell 系列 GPU,每台服务器每小时约 40 美元,即每天 960 美元,然后用每日成本除以产出,以估算每项资产的成本。
- 自动驾 驶数据集 生成: 每天生成约 130 个极端场景片段,每个片段的 GPU 计算成本为 2.66 美元,较道路采集车队每个场景 125 美元的成本低约 45 倍。
- 图像属性增强: 每天增强约 42,649 对已标注图像,日成本为 960 美元,即每对 0.023 美元,约 比购买第三方数据每对平均 0.25 美元的成本低 10 倍。
- 视频数据增强: 每天增强约 305 个已标注片段,每个约 5 分钟的片段成本为 3.15 美元,较我们购买第三方数据时平均每个 22 美元的成本低约 7 倍。
- 缺陷 图像图像 生成: 将数据集组装时间从两个月缩短至一天,速度提升 60 倍。
- 事件视频生成: 每天生成约 384 个已标注片段,每个成本为 2.50 美元、耗时约 4 分钟,无需等待真实危险事件发生或重现此类事件,即可创建稀缺的火灾、打斗和跌倒训练样本。
借助 Cosmos,训练数据缺口可转化为具有可衡量计算预算的生成任务。请注意,这些数据仅涵盖计算成本;源数据准备、设置、智能体使用、存储和人工审核可能会增加额外成本。
各组织报告了哪些使用 Cosmos 所取得的成果和预期成效?
多家组织正在利用 Cosmos 技能和蓝图,提升自动驾驶、视觉检测和机器人领域的测试、检测与搜索准确性,同时力求降低成本并减少工作量。
- 利用合成数据将真实世界异常的召回率最高提升 24%,并在数据生成成本方面实现预计 1,400 倍的回报 ,应用于一处海上油气设施。
- 目标是将自动光学检测(AOI)程序生成所需的人工工程工作量最多减少 85%,同时将误报减少 40%.
- 将重复的实车测试次数减少 最多 90%,并将 AI 回归测试周期最多缩短 85% (预期)。
- 在 不到两周的时间内借助 Cosmos Curator 推向市场 ,相比之下,预计自行构建同等管线需要六个月。
开始使用 NVIDIA Cosmos
如需加速应用的数据整理、处理和合成数据生成,请查看 NVIDIA Cosmos Data Factory 蓝图和可组合技能。首先选择符合您用例的蓝图,按照设置指南进行操作,然后使用您的 AI 智能体基于您的数据运行工作流。您还可以使用各项技能自定义管线,以生成高质量、带标注的训练数据集。
如需了解更多信息,请于 11 月 19 日加入我们的直播: 用两段提示词构建可直接用于训练的数据集。了解如何使用 Cosmos 整理和增强自动驾驶汽车、机器人及视觉 AI 智能体的数据集。本次直播将邀请 Voxel51 和 Encord 参与,重点介绍保时捷如何通过 Voxel51 平台使用 Cosmos Data Factory,以及 Encord 如何与 ANYbotics 合作。
讨论(0)标签
智能体 AI / 生成式 AI | 计算机视觉 / 视频分析 | 仿真 / 建模 / 设计 | 通用 | Blackwell | Cosmos | Isaac Sim | 中级技术 | 教程 | AI 智能体 | 蓝图 | 物理 AI | 合成数据生成 | 视觉语言模型(VLM)关于作者
关于 Nakul Arora
Nakul Arora 是 NVIDIA 产品管理总监,负责 NVIDIA Metropolis——一个帮助企业部署可通过摄像头观察并理解物理世界的 AI 的平台。他负责推动 NVIDIA 三计算机架构的产品战略,涵盖从合成数据生成与仿真,到训练,再到边缘和云端的现实世界推理,从而将物理基础设施转变为智能、响应迅速的系统。 查看 Nakul Arora 的所有文章
AI 热点