宾大茅佳源在 IROS 2026 分享 RAPID 框架与 TR 指标，真机泛化成功率提升至 83%
在 IROS 2026 大会上，UPenn、MIT 与 Stanford 联合团队的茅佳源分享了只需一次人类演示即可泛化执行多种非抓取任务的 RAPID 闭环框架，并提出诊断视觉与动作机制脱节的 TR 指标。团队发现峰值 TR 可预测模型的组合泛化能力，据此设计的基于 TR 的自适应引导无需重新训练模型，在搭载双臂机器人的 8 项复杂真机任务中把泛化成功率从 71.8% 提升至 83%，对比模型 Cosmos-Policy 平均成功率仅约 12%。
率异步（如腕部相机 30Hz、机器人状态 60Hz、低阶技能 2Hz）下的闭环控制难题，在双臂机器人“给牛排撒调料”等长时程任务中验证了模块组合的高效性。 但是，各模块之间受限的信息流动，使其难以充分吸收不同任务之间的协同效应。 这就引发了一个更深度的思考：神经网络能否直接将感知、记忆、规划与控制融为一体？如果放弃人工预定义的原语与模块划分，转向端到端统一的多模态大模型，将包含丰富物理规律的视频预测与动作生成联合训练，组合能力能否在模型中自动“涌现”？ 围绕这一课题，团队展开了两次尝试。第一次是视频生成预测+动作控制器；第二次是视频-动作联合训练模型。 然而，随后的实机与仿真实验表明，问题的复杂程度远超预想。 ▎ 试错一：视觉预测转动作指令，难以胜任富接触操作 为了吸收跨任务的协同效应，研究团队展开了第一次尝试：利用通用的视频生成模型预测未来画面，再将视觉预测翻译为机器人的具体动作。 这一路线对应团队发表于 ICLR 2024 (Spotlight) 的 AVDC 框架。 原文链接：https://arxiv.org/pdf/2310.08576 其动作提取流程分为三个核心阶段： 1.
匹配字段正文