Ropedia 联合 NTU 等发布世界模型 Ropedia W0,五大评测领先英伟达 Cosmos 3
新加坡具身创企 Ropedia 联合南洋理工大学、杜克大学、加州大学圣地亚哥分校及清华大学发布跨本体移动操作世界模型 Ropedia W0,通过统一动作表示预测人类、机械臂和人形机器人执行动作后的第一视角场景变化。该模型在 DreamDojo、Ψ₀、ω-HOME、AgiBot 和 Xp-Teleop 五个评测基准的 11 项测试中均排名第一,未经后训练即在 Ψ₀ 和 ω-HOME 上超过使用全量数据后训练的 Cosmos3-Super。团队还构建约 1.3 万小时的 Xp-Data 数据集,并推出 50 亿参数的稠密模型 Ropedia W0 5B 和采用 MoE 架构、激活参数量 140 亿的 Ropedia W0 A14B。
a W0 5B;另一款是采用MoE架构、激活参数量为140亿的Ropedia W0 A14B。 其中,Ropedia W0 A14B用于进行跨本体预测评测,Ropedia W0 5B则被进一步用于实时交互和机器人动作学习等实验。 二、构建1.3万小时数据集,整合人类与机器人经验 大规模训练数据也是Ropedia W0实现跨本体预测的重要基础。该团队构建了一套多模态数据处理流水线,将不同来源的数据整理成统一格式,构建约1.3万小时的Xp-Data训练数据集。 其中,人类第一视角数据约1万小时,真实机器人数据约3000小时。不过,人类、机械臂和人形机器人的运动方式、动作结构存在差异,不同来源的数据也难以直接用于统一训练。 为此,研究团队提出一套跨本体统一运动学表示方法,将不同本体的运动和操作转换成两类通用信息。 第一类是相机运动,用于描述人类或机器人在空间中的移动及视角变化。 例如,当机器人向前走或转身时,摄像头的位置和朝向也会跟着变化。Ropedia W0通过相机位姿及Plücker射线表示这些运动信息,让模型能够根据给定的运动轨迹预测未来第一视角画面。 第二类是投影骨架,主要用于描述人
匹配字段正文
