Daxiao Robotics and NTU S-Lab Release World Model Mundo

大晓机器人近日联合南洋理工大学S-Lab发布了面向具体环境构建，可探索、可交互的世界模型——Mundo。Mundo支持与Atlas多模态世界模型类似的场景重建、自由视角探索和时空模拟能力。 简单说，它能用少量照片或视频，搭出一个可以自由走动、换角度看的三维场景，还能让机器人在里面练习导航和操作。 这一能力为机器人进入具体商业场景提供了支持。在大晓机器人以 Kairos 为核心的世界模型技术体系中，Mundo补充环境建模、训练数据生成与仿真训练能力，帮助机器人完成场景适配和策略优化。 少量图像构建专属世界模型，支持跨空间长路径生成 Mundo将少量图片或者视频，拓展为可持续探索的三维空间，同一组参考图像可以支持多条相机路径；面对更大场景，还可动态选择上下文，连续生成数十秒至分钟级的探索画面。 具体来看，Mundo从真实场所的上下文影像出发，先建立三维代理，确定不同视图之间的空间关系，再沿指定相机路径生成新视角。在此次展示的场景中，输入1至12张图像，即可围绕房间中的家具和空间结构展开探索。同一组参考图像可以服务于多条路径，让观察位置和角度自由变化。建模过程中，三维检测器为主要物体提供初始位置与范围，视觉语言模型智能体进一步调整代理场景，通过渲染、比较和修正，让场景结构与输入影像相互对应。 例如，一间办公室可以从桌面旁绕到窗边，一处住宅可以从庭院进入室内。相机移动时，输入图像约束已经拍到的布局、外观和细节，模型则对没有被拍到的区域进行推断补全。增加参考视图，就能为场景提供更多真实依据，减少补全的不确定性。 这种能力也能从一张生成图像或画作开始，将其中的结构和视觉风格延伸到新的视角。面对更大的环境，Mundo使用数十张上下文图像，支持数十秒至分钟级的长路径生成。 物体具备物理属性，推拉碰撞都有可计算的响应 要让机器人在场景中练习，环境必须能够响应动作。抽屉被拉开、椅子被推动、物体落到地面，都需要对应的位置变化和接触关系。 Mundo可以通过代码编辑世界，通过场景程序描述物体的名称、尺寸和位姿，并为其配置质量、摩擦等物理属性。脚本定义动作和施加的力，物理引擎计算物体在重力与接触约束下的响应，得到运动轨迹、接触位置和碰撞力。随后，Mundo 结合环境参考图像，将这些变化渲染到对应场景中。 这让环境拥有了明确的操作入口。用户可以拖动垃圾桶、推动显示器、拉动椅子或打开抽屉，也可以改变物体材料与重力条件，观察不同设置下的响应。物理过程中的速度、接触点和冲击力等状态，还能与生成画面同步展示。 在这一过程中，三维代理与场景程序负责记录“物体在哪里、发生了什么变化”，物理引擎负责计算运动，视频模型负责呈现与环境相符的视觉结果。几何、物理与外观各自承担明确职责，共同构成可交互环境。 让每次交互都有可追踪的状态、可计算的过程，是场景从可观看走向可使用的关键。 Mundo 将物理交互引入重建环境，为机器人练习动作及分析结果提供了具体依据。 在同一环境贯通导航、操作与四维模拟，构建机器人训练场 在同一个定制场景中，Mundo进一步支持机器人移动和操作，将环境重建连接到机器人测试与训练。 导航方面，三维代理提供物体类别、位置、障碍物和可通行区域等信息，路径规划器据此寻找路线。操作方面，Mundo为参与交互的物体建立几何和物理属性，让不同形态的机器人尝试同一任务，例如将苹果放入碗中、将罐子放上托盘或堆叠积木。 Mundo还将空间探索拓展到时间维度。对于多相机记录的动态事件，可以从新视角呈现过程；对于基于图像构建的模拟事件，则通过重力和接触动力学计算运动。 世界模型的产业价值，要由它对真实任务的贡献来体现。 在大晓机器人以 Kairos 为核心的世界模型技术体系中，Mundo 补充具体环境建模与仿真训练能力，连接现场采集、数据生成和策略优化，服务于机器人进入实际工作场景。