Daxiao Robotics and Nanyang Technological University Jointly Release World Model Mundo
English text is being prepared.
Daxiao Robotics, in collaboration with the S-Lab at Nanyang Technological University, has released Mundo, a world model built for specific environments that supports scene reconstruction, free-viewpoint exploration, and spatiotemporal simulation. Mundo can write physical properties such as object mass and friction into scene programs, with a physics engine computing motion, contact, and collision, and supports invoking agents to edit objects, properties, and actions in the scene using code. Inputting 1 to 12 images is sufficient to construct an explorable three-dimensional space; the same set of reference images supports multiple camera paths, and larger scenes can continuously generate exploration footage ranging from tens of seconds to the minute level.
Why read this
AI score 52
The original text demonstrates the complete pipeline from reconstructing programmable physical scenes from a small number of images to robot navigation and manipulation training, from which one can judge the specific use of world models in robot training.
Topics
Body
近日，大晓机器人联合南洋理工大学S-Lab发布面向具体环境构建，可探索、可交互的世界模型——Mundo。Mundo 支持与 Atlas 类似的场景重建、自由视角探索和时空模拟能力。相较于Atlas来说，Mundo可以将物体的质量、摩擦等物理属性纳入场景程序，通过物理引擎计算运动、接触与碰撞。同时，Mundo 支持调用智能体，通过代码编辑场景中的物体、属性与动作，将少量影像转化为可自由探索、可编程交互、可用于机器人导航与操作训练的三维世界。 Mundo 将三维场景表示、物理仿真与视频生成相结合，结合Astra打造全新空间理解能力，先通过影像场景与物体，并可以通过代码实现场景可以编辑，再通过代码定义、编辑物体属性和动作。物理引擎计算运动与碰撞，视频模型结合参考影像渲染结果，形成从场景重建、代码编辑到交互模拟的完整流程。场景既能被看见，也能响应动作、记录变化，进而成为机器人训练与测试的环境。 这一能力为机器人进入具体商业场景提供了支持。在大晓机器人以 Kairos 为核心的世界模型技术体系中，Mundo 补充环境建模、训练数据生成与仿真训练能力，帮助机器人完成场景适配和策略优化。 少量图像构建专属世界模型 支持跨空间长路径生成 Mundo 将少量图片或者视频，拓展为可持续探索的三维空间，同一组参考图像可以支持多条相机路径；面对更大场景，还可动态选择上下文，连续生成数十秒至分钟级的探索画面。 具体来看，Mundo从真实场所的上下文影像出发，先建立三维代理，确定不同视图之间的空间关系，再沿指定相机路径生成新视角。在此次展示的场景中，输入1至12张图像，即可围绕房间中的家具和空间结构展开探索。同一组参考图像可以服务于多条路径，让观察位置和角度自由变化。建模过程中，三维检测器为主要物体提供初始位置与范围，视觉语言模型智能体进一步调整代理场景，通过渲染、比较和修正，让场景结构与输入影像相互对应。 例如，一间办公室可以从桌面旁绕到窗边，一处住宅可以从庭院进入室内。相机移动时，输入图像约束已经拍到的布局、外观和细节，模型则对没有被拍到的区域进行推断补全。增加参考视图，就能为场景提供更多真实依据，减少补全的不确定性。 这种能力也能从一张生成图像或画作开始，将其中的结构和视觉风格延伸到新的视角。对于真实场所，更多观测帮助模型接近现场；对于创意场景，单张图像则提供了构建可探索空间的起点。面对更大的环境，Mundo 使用数十张上下文图像，支持数十秒至分钟级的长路径生成。它沿同一个三维代理分段生成画面，为每一段选择相关参考视图，并通过重叠帧衔接前后片段，使局部外观和全局空间拥有共同依据。 Mundo 将拍下来的一个个视角，组织成可以持续进入和探索的空间。对于机器人场景适配，这意味着现场影像能够成为构建任务环境的入口，为后续导航和交互训练提供空间基础。 物体具备物理属性 推拉碰撞都有可计算的响应 要让机器人在场景中练习，环境必须能够响应动作。抽屉被拉开、椅子被推动、物体落到地面，都需要对应的位置变化和接触关系。 Mundo 可以通过代码编辑世界，通过场景程序描述物体的名称、尺寸和位姿，并为其配置质量、摩擦等物理属性。脚本定义动作和施加的力，物理引擎计算物体在重力与接触约束下的响应，得到运动轨迹、接触位置和碰撞力。随后，Mundo 结合环境参考图像，将这些变化渲染到对应场景中。 这让环境拥有了明确的操作入口。用户可以拖动垃圾桶、推动显示器、拉动椅子或打开抽屉，也可以改变物体材料与重力条件，观察不同设置下的响应。物理过程中的速度、接触点和冲击力等状态，还能与生成画面同步展示。 在这一过程中，三维代理与场景程序负责记录“物体在哪里、发生了什么变化”，物理引擎负责计算运动，视频模型负责呈现与环境相符的视觉结果。几何、物理与外观各自承担明确职责，共同构成可交互环境。 让每次交互都有可追踪的状态、可计算的过程，是场景从可观看走向可使用的关键。 Mundo 将物理交互引入重建环境，为机器人练习动作及分析结果提供了具体依据。 在同一环境贯通导航、操作与四维模拟 构建机器人训练场 在同一个定制场景中，Mundo 进一步支持机器人移动和操作，将环境重建连接到机器人测试与训练。 导航方面，三维代理提供物体类别、位置、障碍物和可通行区域等信息，路径规划器据此寻找路线。Mundo 可以生成不同机器人沿路线行进的第一人称和第三人称画面，将空间布局与机器人沿途观察联系起来。 操作方面，Mundo 为参与交互的物体建立几何和物理属性，让不同形态的机器人尝试同一任务，例如将苹果放入碗中、将罐子放上托盘或堆叠积木。系统生成外部视角以及机器人头部、腕部相机视角，同时保留任务轨迹与物理交互状态，为训练数据生成和仿真测试提供支持。 视觉观测与交互状态相互对应，使研究人员能够结合机器人“看到什么”和“做了什么”分析执行过程，并在进入真实场景前比较、调整策略。 Mundo 还将空间探索拓展到时间维度。对于多相机记录的动态事件，可以从新视角呈现过程；对于基于图像构建的模拟事件，则通过重力和接触动力学计算运动。在选定时刻暂停时间，再移动相机，即可从多个角度观察同一瞬间，形成“子弹时间”效果，辅助查看动作细节和遮挡关系。 从导航到操作，再到四维时空观察，Mundo 为机器人提供了可反复演练、可多角度检查的环境。在酒店应用中，团队已利用它重建楼层与洗衣区域，为导航提供空间和语义信息，并模拟洗衣机开门等交互，为机器人理解任务与开展训练提供支持。 世界模型的产业价值，要由它对真实任务的贡献来体现。 在大晓机器人以 Kairos 为核心的世界模型技术体系中，Mundo 补充具体环境建模与仿真训练能力，连接现场采集、数据生成和策略优化，服务于机器人进入实际工作场景。