Daxiao Robotics and Nanyang Technological University S-Lab Release World Model Mundo

近日，大晓机器人联合南洋理工大学S-Lab发布面向具体环境构建，可探索、可交互的世界模型—— Mundo 。该模型支持与Atlas类似的场景重建、自由视角探索和时空模拟能力，并将物体质量、摩擦等物理属性纳入场景程序，通过物理引擎计算运动、接触与碰撞；同时支持调用智能体，通过代码编辑场景中的物体、属性与动作，将少量影像转化为可自由探索、可编程交互、可用于机器人导航与操作训练的三维世界。 Mundo将三维场景表示、物理仿真与视频生成相结合，结合Astra打造全新的空间理解能力：先通过影像重建场景与物体，再以代码编辑场景、定义物体属性和动作，由物理引擎计算运动与碰撞，视频模型结合参考影像渲染结果，形成从场景重建、代码编辑到交互模拟的完整流程。场景既能被看见，也能响应动作、记录变化，成为机器人训练与测试环境。在大晓机器人以Kairos为核心的世界模型技术体系中，Mundo补充环境建模、训练数据生成与仿真训练能力，帮助机器人完成场景适配和策略优化。 在场景构建上，Mundo可将少量图片或视频拓展为可持续探索的三维空间。同一组参考图像可支持多条相机路径；面对更大场景，可动态选择上下文，连续生成数十秒至分钟级探索画面。其从真实场所上下文影像出发，先建立三维代理，确定不同视图间空间关系，再沿指定相机路径生成新视角。展示场景中输入1至12张图像，即可围绕房间家具和空间结构展开探索。建模中，三维检测器为主要物体提供初始位置与范围，视觉语言模型智能体进一步调整代理场景，通过渲染、比较和修正，使场景结构与输入影像对应。相机移动时，输入图像约束已拍到的布局、外观和细节，模型对未拍到区域推断补全。该能力也可从一张生成图像或画作开始，将结构和视觉风格延伸到新视角。面对更大环境，Mundo使用数十张上下文图像，沿同一三维代理分段生成，为每段选择相关参考视图，并通过重叠帧衔接前后片段。 物理交互上，Mundo可通过代码编辑世界，通过场景程序描述物体名称、尺寸和位姿，并配置质量、摩擦等物理属性。脚本定义动作和施加的力，物理引擎计算物体在重力与接触约束下的响应，得到运动轨迹、接触位置和碰撞力；随后结合环境参考图像，将变化渲染到对应场景。用户可以推拉物体、打开抽屉，也可改变材料与重力条件观察响应。速度、接触点和冲击力等状态可与生成画面同步展示。三维代理与场景程序记录物体位置和变化，物理引擎计算运动，视频模型呈现视觉结果，共同构成可交互环境。 在机器人训练与测试方面，Mundo可在同一定制场景中支持机器人移动和操作。导航方面，三维代理提供物体类别、位置、障碍物和可通行区域等信息，路径规划器据此寻找路线；Mundo可生成不同机器人沿路线行进的第一人称和第三人称画面。操作方面，Mundo为交互物体建立几何和物理属性，让不同形态机器人尝试同一任务，如将苹果放入碗中、将罐子放上托盘或堆叠积木，并生成外部视角及机器人头部、腕部相机视角，保留任务轨迹与物理交互状态。视觉观测与交互状态相互对应，便于结合机器人“看到什么”和“做了什么”分析执行过程，在进入真实场景前比较、调整策略。Mundo还将空间探索拓展到时间维度：对多相机记录的动态事件，可从新视角呈现；对基于图像构建的模拟事件，通过重力和接触动力学计算运动；在选定时刻暂停时间并移动相机，可从多角度观察同一瞬间，形成“子弹时间”效果，辅助查看动作细节和遮挡关系。 在酒店应用中，团队已利用Mundo重建楼层与洗衣区域，为导航提供空间和语义信息，并模拟洗衣机开门等交互。 世界模型的产业价值，要由它对真实任务的贡献来体现。 在大晓机器人以Kairos为核心的世界模型技术体系中，Mundo补充具体环境建模与仿真训练能力，连接现场采集、数据生成和策略优化，服务于机器人进入实际工作场景。