NVIDIA 发布 Cosmos3-H-Dreams 手术生成模拟模型

1. 从桌面任务到临床场景

在像 Cosmos-H-Dreams 这样的受控桌面环境中，器械在相对简单的背景下操作。然而，在人体内部，器械的微小运动可能影响整个场景：组织在牵拉下伸展，反光发生偏移，结构被遮挡，烟雾改变可见度。给定初始图像和提供的工具动作，生成式模拟器在生成每一段新视频时必须捕捉这些响应，同时保持解剖结构和器械的一致性。小误差会随时间累积，逐渐改变器械几何形状或解剖结构，因此时间一致性至关重要。

因此，视觉真实感只是验证的起点，而非生物力学准确性的证明。生成的场景还必须遵循控制指令：平移、旋转和夹爪命令应产生连贯的解剖学后果。一个看似合理却忽略这些命令的推演无法作为交互式环境使用。

在实时控制回路中保持这种保真度和响应性需要低延迟生成。Cosmos3-H-Dreams 通过一个专门针对临床胆囊切除术并经过蒸馏以实现实时生成的模型来应对这一场景，将动作条件交互引入具有复杂解剖结构、组织运动和遮挡的场景中。

2. Cosmos3-H-Dreams 的新特性

2.1 Cosmos 3 基础模型与更丰富的手术控制

Cosmos3-H-Dreams 基于 Cosmos3-H-Embodied-Nano 构建，后者是一个在 Open-H-Embodiment 上预训练的 160 亿参数模型，并在精选的胆囊切除术视频和运动学数据上专门化了一个双向教师模型。样本选择针对两个可见且参与操作的器械——左侧 Cadiere 抓钳和右侧单极钩，并限制相机命令以强调器械驱动的交互。

该模型使用 28 个动作维度：双臂的位姿和夹爪信息，外加能量控制、摇杆轴和摇杆按钮。训练使用 832 x 480 视频，动作以 10 Hz 对齐；该采样率与运行时生成吞吐量不同。

2.2 从教师模型到四步和两步学生模型

Cosmos3-H-Dreams 结合了一套教师到学生的训练流水线，专为长自回归推演设计，并通过 FlashDreams 实现加速的流式推理。

我们首先在 24 个未来帧上适配双向教师模型，然后将时间跨度扩展到 72 帧，即在 10 Hz 下为 2.4 秒和 7.2 秒。这使教师模型能够在更长的序列上学习手术动力学。

接下来，蒸馏将双向教师模型转变为因果学生模型，能够在新动作到达时以短块形式生成视频。因果教师强制利用录制的上下文为学生模型的顺序生成做准备。随后，Self-Forcing 在自身生成的上下文上训练它，并由教师模型和学习到的评判器引导。这有助于解决交互式推演过程中的误差累积问题。

首个发布的学生模型每个生成块使用四步去噪。随后，我们以两步调度对该学生模型进一步训练，以生成第二个发布检查点。两步模型是单独训练的，并非简单地将四步模型以更少的采样步数运行。

更少的去噪步数带来更快的推理时间，但代价是视觉质量降低。两个检查点都让开发者能够探索视觉质量与推理成本之间的平衡。

2.3 通过 FlashDreams 实现流式生成

FlashDreams 提供加速的流式运行时。长推演还需要管理模型的注意力历史。Cosmos3-H-Dreams 集成使用了一个改编的 FadeMem 模块，在长推演过程中整合不断增长的键/值缓存。这与 Self-Forcing 相辅相成：蒸馏解决模型如何从其生成的历史中学习，而缓存整合解决该历史在流式生成过程中如何存储。

3. 探索未见过的轨迹

在临床手术过程中，可能会出现并发症，或者外科医生有一定空间执行“新颖”动作。因此，模拟器必须能够泛化到训练数据之外，并为未见过的动作生成连贯的帧。下面的演示展示了 Cosmos3-H-Dreams 根据通过 VR 头显录制的器械动作生成不同的胆囊切除术场景。

这两段视频从相同的初始帧开始，但遵循不同的动作序列，展示了器械控制如何导致同一场景的不同延续，并伴随物理上准确的组织变形。

此外，这些推演使我们能够检查器械是否遵循控制指令、组织是否对交互做出连贯响应，以及解剖结构和器械外观是否随时间保持一致。

4. 适配你自己的数据和控制器

Cosmos3-H-Dreams 包含用于胆囊切除术的四步和两步检查点。该系统可适配其他具有同步视频和兼容动作表示的数据集与具身形态。要在你自己的数据集上训练实时学生模型，我们在分步指南中提供了教师微调和 Self-Forcing 蒸馏的完整配方。其中描述了数据准备、公开的教师训练工具以及蒸馏各阶段。控制器集成必须使用与训练相同的动作约定和归一化方式。

5. 下一步是什么

视觉真实感的进步开辟了若干研究方向：

对完整手术过程建模。扩大覆盖范围和时间一致性，使胆囊切除术的所有阶段都能被系统地探索，并具有清晰的任务边界和成功标准。

连接生成式与数值模拟。将学习到的视觉真实感与显式几何、接触和组织力学相结合。数值模型和实测数据可以帮助约束和验证形变，使模拟行为既可检查又令人信服。

与外科医生共同评估。评估解剖准确性、器械行为和组织响应，将专家反馈转化为可复现的基准。

支持更多器械。超越两个受控工具，实现更丰富的协调、遮挡和交互。

开发自主手术策略。将世界动作模型与 Cosmos3-H-Dreams 闭环耦合，使策略能够学习定义的胆囊切除术子任务。

这些是研究方向，而非已确立的临床能力。Cosmos3-H-Dreams 是研究用模拟器，并非经过验证的患者护理系统。它为在日益真实的环境中研究手术交互提供了基础。

探索 Cosmos3-H-Dreams 背后的模型、数据和运行时：

Cosmos3-H-Dreams 代码和示例：GitHub 仓库

适配你自己的数据：教师微调和 Self-Forcing 蒸馏的分步配方

FlashDreams：GitHub 仓库

NVIDIA Cosmos 3：GitHub 仓库

带上你的控制器、你的轨迹和你的研究问题。我们期待看到社区在这些新的手术世界中构建出什么。

本文提及的模型 2

nvidia/Cosmos3-H-Dreams

nvidia/Cosmos3-H-Embodied-Nano

本文提及的数据集 1

来自该作者的更多内容

扩展 Indic 预训练：2.8 万亿 Token 与开放数据生成流水线

本文提及的模型 2

nvidia/Cosmos3-H-Dreams

nvidia/Cosmos3-H-Embodied-Nano

本文提及的数据集 1