仿真 / 建模 / 设计 使用 NVIDIA Cosmos 构建用于交互式仿真的世界模型 2026年11月2日 作者： Pranjali Joshi, Aditya Mahajan, Wonsik Han, Saeed Babamohamadi 以及 Mostafa Toloui 讨论 (0)

AI 生成的摘要

  • NVIDIA Cosmos 为物理 AI 提供世界基础模型和开发工具，应对传感器适配和可靠部署方面的挑战。
  • Cosmos Framework 提供模块化、开放的工具，用于跨模型（包括 Cosmos 3、NVIDIA Alpamayo、GR00T、Qwen 和 pi0.5）的训练、强化学习、优化和推理。
  • Cosmos 3 Nano 仿真配方使用已发布的检查点，为自动驾驶、机器人和手术场景生成同步的相机视频和 LiDAR 观测。
  • Cosmos NIM 微服务 通过量化、投机解码和 KV-cache 感知路由提供加速推理，在 H200 GPU 上实现约 2–3 倍的加速。
  • GPU 显存需求因模型和任务而异，其中 Cosmos3-Nano 生成任务在 BF16 下需要 58 GiB，在 FP8 下配合卸载需要 44 GiB。

后续步骤

由 NVIDIA Nemotron 提供支持。AI 生成的内容可能对信息的总结不完整。请核实重要信息。 了解更多

使用 世界模型 的物理 AI 开发者面临两项不同的挑战：使模型适配其传感器、任务和数据，以及将这些模型可靠地集成到应用中。

NVIDIA Cosmos 分别应对这两项挑战。Cosmos 是一个提供世界基础模型和开发工具的平台，面向 物理 AI. Cosmos Framework 提供用于世界模型训练、多模态数据处理、优化和推理的智能体技能与配方。 Cosmos NIM 微服务 通过应用程序 API 支持 GPU 加速的服务。

本文对这两部分逐一进行介绍。仿真部分展示如何使用 Cosmos Framework 的推理配方和智能体技能，从你今天即可运行的已发布检查点出发，为自动驾驶、机器人和手术场景生成同步的相机视频和 LiDAR 观测。部署部分展示如何为你的 GPU 选择 NIM 配置、启动容器、验证就绪状态，并发送你的第一个推理请求。

何时使用 Cosmos Framework 进行世界模型开发

Cosmos Framework 是一个开放且完全模块化的框架，用于世界模型训练、模型优化和推理，借助新的智能体技能支持完整的模型开发生命周期。它正从 Cosmos 3 扩展，以支持 NVIDIA Alpamayo、GR00T、Qwen、pi0.5 以及其他兼容的 Hugging Face 模型。

训练

  • 使用新技能更快地在文本、图像、视频、音频和动作上训练模型。
  • 使用 LoRA 进行参数高效适配，或使用全监督微调（SFT）更新所有模型参数。
  • 通过 JSONL、WebDataset、LeRobot 或自定义适配器加载数据，跨 GPU 训练并保存检查点以恢复运行。
  • 将你的智能体指向训练后 技能 以加速并实现自动化。

应用强化学习

  • 该平台现已覆盖 在线与离线强化学习路径新支持的流水线包括：
    • DPO：离线偏好优化。
    • GRPO：使用规则或模型奖励以及 vLLM rollout 的在线强化学习。
    • PPO：带冻结参考模型和评论家的 actor-critic 强化学习，包括仿真中具身策略的强化学习。
    • OPD：从冻结教师模型进行同策略蒸馏。
    • DiffusionNFT：面向扩散世界模型的在线强化学习。
  • 在共享 GPU 或独立资源池上运行 rollout、reward 和训练角色。
  • 连接支持的模拟器以收集经验。

优化模型与推理

  • 蒸馏模型以减小模型体积或减少生成步数；量化模型以减少内存占用。
  • 使用 Hugging Face Diffusers、PyTorch、SGLang、vLLM-Omni、vLLM、TRT-LLM 和 TRT-Edge-LLM 或 NVIDIA NIM 运行兼容的检查点。
  • 评估质量、准确性和 GPU 使用情况，并最大化计算利用率。

使用 Cosmos Framework 的智能体

在以下位置加载 setup、inference、post-training 和 troubleshooting 技能： .agents/skills给智能体一个有界任务：

提示：训练后 <checkpoint> 使用 <dataset> 使用 <recipe>固定所有修订版本，验证数据集，并将训练与评估回合分开。运行冒烟测试，保存配置，并在“ <N> GPU 小时数。使用三个随机种子在留出数据上导出并与基础模型进行比较。在受支持的较低精度下重复评估；记录质量、峰值内存和延迟。

你应该使用哪种 Cosmos 仿真工作流？

Cosmos Framework 为机器人仿真、逼真场景生成、多摄像头驾驶仿真以及手术策略评估提供后训练与推理配方。全新的 Cosmos 3 Nano 仿真配方和示例检查点使开发者能够使用智能体可运行的技能来评估我们的示例检查点，并将 Cosmos 3 Nano 适配到自定义传感器、动作空间和数据领域。

这些检查点支持 PyTorch 和 vLLM-Omni，并已在 NVIDIA Hopper 和 Blackwell GPU 上测试。使用该配方可选择 GPU 数量、内存配置和推理设置。

自动驾驶仿真：

两个 AV 检查点均接收提示词和世界场景地图（WSM）控制，后者表示车道、物体、道路标线、交通标志和道路边界。联合 RGB–LiDAR 生成还使用 HD 地图距离图控制，并支持可选的初始 LiDAR 观测。提示词描述天气、光照、一天中的时间、道路状况，并通过前缀提供相机装置和视场上下文。可选的初始相机图像提供视觉上下文，以引导生成场景的外观。

Cosmos3-Nano-Transfer-Auto 使用双向生成一次性对整个多视角片段进行去噪，用于离线 合成数据生成它支持 30 fps 的输入和输出视频，在 480p 或 720p 下最多支持 400 帧；更长的序列可通过自回归分块生成。更改提示词，将白天行驶变为雨夜，同时保持相同的道路布局和车辆轨迹。利用这些变化，在不同天气和光照条件下训练和评估感知与驾驶模型。

完成 Framework 设置后，从仓库根目录运行下面的四 GPU 示例。对于 Transfer-Auto，请使用 已发布的示例配置 ，包含七个同步的 WSM 视频、逐相机字幕、首帧 RGB 条件输入以及 HD 地图 LiDAR 控制。参见 Transfer-Auto 推理指南 ，了解设置、输入准备和输出详情。

export COSMOS_TRAINING=0 COSMOS_INTERNAL=0

hf download nvidia/Cosmos3-Nano-Transfer-Auto \
  --local-dir checkpoints/Cosmos3-Nano-Transfer-Auto

AUTO_SAMPLE_ROOT="$PWD/checkpoints/Cosmos3-Nano-Transfer-Auto/assets/sample_data"
AUTO_NEGATIVE_PROMPT="$(cat .agents/skills/cosmos3-nano-transfer-auto/inference/assets/negative-prompt.txt)"

torchrun --standalone --nproc-per-node=4 \
  -m cosmos_framework.scripts.inference \
  -i "$AUTO_SAMPLE_ROOT/input-transfer-auto.jsonl" \
  -o outputs/transfer_auto \
  --checkpoint-path checkpoints/Cosmos3-Nano-Transfer-Auto \
  --resolution 720 --num-steps 35 \
  --per-view-negative-prompt "$AUTO_NEGATIVE_PROMPT" \
  --cp-size 4 --cfgp-size 1 \
  --no-use-torch-compile --no-diffusion-cache

参考运行会生成七段 720p 视频（30 FPS 下 297 帧）和 99 次 LiDAR 扫描。请检查 sample_outputs.json ，以确保成功并 lidar.safetensors 针对有限的距离和强度值，然后验证 WSM 对齐以及跨相机视角和 LiDAR 的一致性。

有关自定义场景和装配适配，请参阅 WSM 渲染器 和 Transfer-Auto 后训练指南有关点云转换和可视化，请参阅 LiDAR 可视化工具

视频 1. 使用 Cosmos3-Nano-Transfer-Auto 生成环视视频与 LiDAR

Cosmos3-Nano-Sim-Auto 是 Cosmos3-Nano-Transfer-Auto 的因果、少步蒸馏变体，支持自回归流式生成。当 AV 策略或人类驾驶输入通过 WSM 渲染器更新场景时，它会增量生成观测。生成的相机和 LiDAR 观测返回给策略，从而实现闭环评估

对于 Sim-Auto，使用已发布的 Sim-Auto 示例检查点和预渲染的 WSM 控制，以自回归方式生成同步的相机视频与 LiDAR 观测，从而复现参考运行。 已发布的 Sim-Auto 示例检查点 以及预渲染的 WSM 控制，以自回归方式生成同步的相机视频与 LiDAR 观测。参见 Sim-Auto 推理指南 ，了解设置、输入配置和输出详情。

A policy model (e.g., Alpamayo) or user sends an action to the AlpaSim simulation runtime. AlpaSim updates the simulation state and forwards the context to Cosmos3-Nano-Sim-Auto, which synthesizes the next camera frames and returns them to the policy, completing the loop.

图 1. Cosmos 闭环仿真工作流
export COSMOS_TRAINING=0 COSMOS_INTERNAL=0

hf download nvidia/Cosmos3-Nano-Sim-Auto \
  --local-dir checkpoints/Cosmos3-Nano-Sim-Auto

hf download nvidia/Cosmos3-Nano-Transfer-Auto \
  --include 'assets/sample_data/*' \
  --local-dir checkpoints/Cosmos3-Nano-Transfer-Auto

AUTO_SAMPLE_ROOT="$PWD/checkpoints/Cosmos3-Nano-Transfer-Auto/assets/sample_data"

torchrun --standalone --nproc-per-node=4 \
  -m cosmos_framework.scripts.inference \
  -i "$AUTO_SAMPLE_ROOT/input-sim-auto.jsonl" \
  -o outputs/sim_auto \
  --checkpoint-path checkpoints/Cosmos3-Nano-Sim-Auto \
  --cp-size 4 --cfgp-size 1 \
  --no-use-torch-compile --no-diffusion-cache

对于人工控制的部署，请参阅 Sim-Auto 交互式驾驶.

Sim-Auto 参考运行会写入 outputs/sim_auto/daytime_scene/对 Transfer-Auto 应用上文所述的相同输出检查。

视频 2. 使用 Cosmos3-Nano-Sim-Auto 生成多视角视频与 LiDAR

机器人仿真：

Cosmos3-Nano-Sim-Transfer 将深度视频和提示词转换为具有多样光照、纹理和背景的 RGB 视频，同时保留几何结构和运动。对于机器人演示，它会改变第三人称视角，同时保留动作、状态和腕部相机录制内容。

视频 3. 将深度、分割、边缘或模糊视频转换为详细的 RGB 观测，使用语言提示，同时模拟器维持物理状态

Cosmos3-Nano-Sim-Bimanual 根据场景和机器人动作生成下一个视觉观测。它支持 YAM 和 AgiBot 本体的交互式双臂仿真，由策略或人工操作的操纵杆控制。

在这里，Sim-Transfer 根据物理模拟器更新后的状态生成视觉画面；Sim-Bimanual 则直接根据场景和机器人动作生成下一个观测。

手术仿真：

由于手术环境具有复杂的多物理场特性，它是对经典模拟器最具挑战性的场景之一。生成式仿真提供了一种互补的方法：世界基础模型不显式建模场景几何、组织变形和物理交互，而是直接从同步的手术视频和机器人运动学中学习视觉动态。

Cosmos3-H-Embodied-Nano，基于 Cosmos3 构建并在 Open-H-Embodiment 上后训练，可从机器人动作生成手术视频、从视频预测动作，或同时生成两者。它接收初始 RGB 帧、任务提示词、最近 16 个已执行动作以及后续机器人动作。开发者可用它生成合成数据并离线评估策略，而无需构建手术场景的物理模型。

Cosmos3-H-Dreams 让开发者测试手术策略在手术过程中如何响应，每个动作都会影响后续发生的情况。该因果少步模型从 Cosmos3-H-Embodied-Nano 蒸馏而来，可根据实时机器人运动学生成帧，用于由人类或学习策略控制的实时闭环仿真。这为开发者提供了一个交互式环境，可在物理硬件上测试之前探索手术操作并评估策略。

何时使用 Cosmos NIM 进行加速推理

除了开放推理工具外，新的 Cosmos NIM 软件包还在优化容器中支持模型以实现加速推理，使 Cosmos 模型易于部署。

  • 更快的推理，更少的内存：通过量化、投机解码、缓存、token 剪枝和 KV-cache 感知路由来加速推理。投机解码在 H200 上实测平均加速约 2–3 倍。
  • 自定义模型与实时视频理解：部署经过微调的 Cosmos checkpoint，并通过流式 VLM 推理处理实时流，实现亚秒级告警，延迟降低 10 倍，从而更快响应事件。
  • 更简单的生产部署：自动配置选择、在受支持 GPU 上经过验证的性能与质量、许可支持，以及每季度功能、优化和安全更新.

GPU 显存需求

能力模型所需 GPU 显存 [GiB]
BF16FP8FP8 + 卸载
推理Cosmos3-Edge1614.5–
Cosmos3-Nano23.123.1–
Cosmos3-Super13567–
生成Cosmos3-Edge-DROID14––
Cosmos3-Nano584431
Cosmos3-Super1509338
表 1. 每个模型在每个任务下的 GPU 显存需求

如何启动 Cosmos NIM

使用上表选择 GPU 和模型配置，并按照部署指南 在 Linux 上安装所需的 NVIDIA 驱动、Docker 和 NVIDIA Container Toolkit。登录NGC API 密钥，选择 生成个人密钥，并启用 NGC 目录 访问权限。在终端中将密钥设置为 NGC_API_KEY:

export NGC_API_KEY='paste-your-key-here'

以下命令在 GPU 0 上启动 Nano Generator。请确保已安装 curl 和 python3，并且有足够的磁盘空间用于镜像和模型缓存。所示的缓存权限仅适用于本地开发。

: "${NGC_API_KEY:?Export your NGC API key first}"
printf '%s' "$NGC_API_KEY" | docker login nvcr.io \
 --username '$oauthtoken' --password-stdin

export NIM_IMAGE='nvcr.io/nim/nvidia/cosmos3:2.0.0'
export LOCAL_NIM_CACHE="$HOME/.cache/nim/cosmos3"
mkdir -p "$LOCAL_NIM_CACHE"
chmod a+rwX "$LOCAL_NIM_CACHE"

docker run -d --name cosmos3-generator \
 --gpus '"device=0"' \
 --shm-size 16g \
 --ulimit memlock=-1 \
 --ulimit stack=67108864 \
 --ulimit nofile=65536:65536 \
 -p 8000:8000 \
 -e NGC_API_KEY \
 -e NIM_MODEL_TYPE=generator \
 -e NIM_MODEL_VARIANT=nano \
 -e NIM_PERF_PROFILE=latency \
 -v "$LOCAL_NIM_CACHE:/opt/nim/.cache" \
 "$NIM_IMAGE"

等待就绪（约几分钟），然后检查所选模型和配置： 

curl -fsS http://localhost:8000/v1/health/ready
curl -fsS http://localhost:8000/v1/metadata | python3 -m json.tool

要检查启动进度，请运行 docker logs -f cosmos3-generator 在另一个终端中。现在你可以开始生成了。

选择延迟或吞吐量：

  • 延迟 （默认）: 优先更快完成单个请求。选择它进行交互式实验；受支持的多 GPU 配置会在单个请求中同时使用多个 GPU。
  • 吞吐量: 随时间推移优先完成更多请求。选择它用于数据集生成或并发用户；独立副本并行处理请求。

设置 NIM_PERF_PROFILE 在容器启动时。这些设置适用于 Generator；吞吐量优势需要并发请求。延迟模式支持 1、2、4 或 8 块 GPU，而吞吐量模式需要 2、4 或 8 块兼容 GPU。在单 GPU 示例中仅将 NIM_PERF_PROFILE 改为吞吐量将导致配置选择失败。

开始使用

探索Cosmos Framework 并使用其智能体技能和参考配方，为你的应用训练、定制和优化模型。从与你的任务相匹配的仿真检查点开始，复现参考工作流，并使其适配你的传感器、动作和数据。

阅读完整的 技术报告.

欢迎于 11 月 5 日（周四）参加直播，了解如何使用 Cosmos Framework。 11月5日（周四），参加一场关于如何使用 Cosmos Framework 的直播。

使用全新的 Certified Cosmos NIM 部署 Cosmos 模型以进行推理和生成，从而在 20 多款 NVIDIA GPU 上获得最佳性能。

讨论（0）

标签

智能体 AI / 生成式 AI | 机器人 | 仿真 / 建模 / 设计 | 通用 | Cosmos | 中级技术 | 深入解析 | 自动驾驶汽车 | Metropolis | 物理 AI | 机器人仿真 | 视觉语言模型

关于作者

Pranjali Joshi 关于 Pranjali Joshi
Pranjali Joshi 是 NVIDIA Omniverse 的产品营销经理，专注于核心技术和视觉生成式 AI。她拥有马里兰大学数据科学与营销战略硕士学位，以及电子工程学士学位。此前，她曾在 Accenture 和 Hitachi Vantara 从事软件开发和技术营销工作。 查看 Pranjali Joshi 的所有文章 Avatar photo 关于 Aditya Mahajan
Aditya Mahajan 是 NVIDIA 的高级产品经理，负责自动驾驶汽车技术方面的工作。他拥有约十年的国际经验，先后在成熟企业和初创公司推动前沿创新。Aditya 在印度理工学院德里分校获得生产与工业工程学士学位，并通过西北大学凯洛格管理学院和麦考密克工程学院获得 MBA 学位和设计创新硕士学位。 查看 Aditya Mahajan 的所有文章 Avatar photo 关于 Wonsik Han
Wonsik Han 是 NVIDIA 自动驾驶汽车团队的高级产品经理。他在全球汽车制造商和一家自动驾驶初创公司的战略、业务发展和产品管理岗位上积累了十多年的经验。Wonsik 拥有杜克大学工商管理硕士学位。 查看 Wonsik Han 的所有文章 Avatar photo 关于 Saeed Babamohamadi
Saeed Babamohamadi 是 NVIDIA 的技术营销工程师，专注于物理 AI 以及世界模型在机器人领域的应用。他拥有德克萨斯理工大学的机械工程与机器人学博士学位，以及德黑兰大学的计算机科学硕士学位。他凭借产品管理和开发者关系方面的经验，让世界模型对机器人开发者而言变得实用且易于上手。 查看 Saeed Babamohamadi 的所有文章 Avatar photo 关于 Mostafa Toloui
Mostafa 负责 NVIDIA 医疗机器人产品管理，主管 NVIDIA Holoscan 和 Isaac for Healthcare 平台。 他的热情在于帮助医疗科技公司交付智能、以患者为中心的解决方案，并颠覆疾病的预防、诊断和治疗方式。在加入 NVIDIA 之前，Mostafa 曾在医疗科技行业担任过从战略经理到科学家等多种职务，将产品（软件和硬件）从概念推向发布。Mostafa 拥有明尼苏达大学机械工程博士学位和工商管理硕士学位。 查看 Mostafa Toloui 的所有文章

评论