Google 开放 Gemini 4 Argon，可将第一人称视频重建为物理仿真环境
Google Gemini 4 Argon展示空间重建能力，可将第一人称视频转化为物理仿真环境
Google 正式向开发者及企业开放 Gemini 4 Argon 模型，并公布其在空间重建、物理环境理解及机器人控制方面的技术演示。该模型可基于真实机器人摄像头视频、第一人称人类操作视频及手绘草图，结合 MuJoCo 物理引擎重建带几何形状、碰撞结构、质量与摩擦力等属性的 3D 仿真环境。在机器人训练案例中，利用真实场景照片构建仿真环境并生成超过 4500 段训练数据，使真实机器人任务成功率由 56% 提升至 75%，平均任务完成时间由 35 秒缩短至 24 秒；模型在具身推理基准 ERQA 中取得 87% 的成绩。
推荐理由
AI 评分 72
Google 公布 Gemini 4 Argon 的空间重建演示，读者可了解第一人称视频转物理仿真环境的具体流程与机器人训练数据。
主题
正文
编译/VR陀螺
当地时间10月13日，Google正式向开发者及企业开放Gemini 4 Argon模型，并公布其在空间重建、物理环境理解及机器人控制等领域的技术演示。其中，Real2Sim（现实到仿真）能力成为此次展示的重点之一，模型能够基于真实机器人摄像头视频、第一人称人类操作视频及手绘草图，构建具有物理属性的3D仿真环境。
据Google Developers Blog介绍，Gemini 4 Argon能够通过视觉推理识别现实场景中的物体、空间关系及运动状态，并结合MuJoCo物理引擎重建相应的仿真环境。与单纯生成三维视觉模型不同，该技术还涉及物体几何形状、碰撞结构、质量、摩擦力及接触关系等物理属性的建模，使重建场景能够用于机器人动作训练与物理交互验证。
在机器人视角重建方面，Google展示了利用真实机器人遥操作视频生成数字孪生场景的流程。模型通过分析机器人摄像头记录的画面，重建任务物体及其空间位置，并通过迭代调整，使仿真环境中的视觉效果与物体接触行为尽可能接近真实记录。
第一人称视频重建是另一项值得关注的能力。 在Google公布的案例中，Gemini 4 Argon结合人类第一视角操作视频、摄像机参数及手部三维关键点等信息，识别操作对象并重建其三维结构，同时将人类手部动作映射至MuJoCo中的双臂人形机器人，使其能够在虚拟环境中模拟抓取、移动和放置物体等操作。
此外，Gemini 4 Argon还支持将手绘草图转换为物理仿真场景。Google展示了模型根据纸面草图构建机器人投掷物体的场景，并通过MuJoCo进行动作规划及物理验证的过程，进一步拓展了空间环境生成的输入形式。
在机器人训练方面，Google还展示了利用真实场景照片构建仿真环境，并生成超过4500段训练数据的案例。在该特定实验中，相关训练使真实机器人任务成功率由56%提升至75%，平均任务完成时间由35秒缩短至24秒。
Google表示，Gemini 4 Argon在具身推理基准测试ERQA中取得87%的成绩，展现了其在三维空间理解及物理推理方面的能力。
来源： GoogleDevelopersBlog
投稿/爆料：tougao@youxituoluo.com
稿件/商务合作： 林南（微信 19250561593）
加入行业交流群：林南（微信 19250561593）
版权申明：本文经原作者授权发布，不代表VR陀螺立场，如需转载请直接联系原作者
元宇宙数字产业服务平台
下载「陀螺科技」APP，获取前沿深度元宇宙讯息