英伟达发布手术世界模型 Cosmos3-H-Dreams 并开放权重
英伟达发布实时手术世界模型Cosmos3-H-Dreams ，支持实时交互
英伟达发布面向机器人手术的生成式世界模型 Cosmos3-H-Dreams，同步开放模型权重及配套代码。该模型基于 CMR Surgical 旗下 Versius 系统的临床胆囊切除手术录像与机器人运动学数据微调，支持双臂位姿、钳口开合及电外科能量等 28 维动作输入，可根据初始内窥镜画面和机械臂指令实时生成手术场景视频。官方模型卡显示，在单块 RTX PRO 6000 Blackwell 工作站版 GPU 上以 832×480 分辨率运行时，四步去噪版本为 30 帧/秒，两步版本可达 43.2 帧/秒；配套代码支持动作回放，并可连接 WebXR 兼容头显进行实时交互控制。
正文
编译/VR陀螺
当地时间10月20日，英伟达发布面向机器人手术的生成式世界模型Cosmos3-H-Dreams，同步开放模型权重及配套代码。该模型基于CMR Surgical旗下Versius系统的临床胆囊切除手术录像与机器人运动学数据进行微调，可根据器械操作指令实时生成手术场景视频。
据英伟达介绍，新模型将前代系统的桌面缝合模拟拓展至临床腹腔场景。用户输入初始内窥镜画面及机械臂控制指令后，系统可连续生成器械运动与组织响应画面，支持双臂位姿、钳口开合及电外科能量等28维动作输入，并通过FlashDreams流式推理库加速运行。
性能方面，官方模型卡显示，在单块RTX PRO 6000 Blackwell工作站版GPU上，以832×480分辨率运行时，四步去噪版本生成速度为30帧/秒，两步版本可达43.2帧/秒。两步版本经过单独训练，以部分画质换取更高速度。配套代码支持录制动作回放，也可连接配备双追踪控制器的WebXR兼容头显，进行实时交互控制。
英伟达表示，该模型主要面向手术机器人策略的仿真评估、遥操作研究及合成数据生成，开发者还可利用公开的微调与蒸馏指南，将其适配至其他数据集和机器人形态。
来源：Hugging Face 官方博客（NVIDIA）
投稿/爆料：tougao@youxituoluo.com
稿件/商务合作： 林南（微信 19250561593）
加入行业交流群：林南（微信 19250561593）
元宇宙数字产业服务平台
下载「陀螺科技」APP，获取前沿深度元宇宙讯息