AI News

苹果研究团队披露人形机器人控制系统 HALO,在宇树 G1 上验证平均成功率 91%

第一财经更新于 11月7日 19:04

平均成功率91%!苹果研究团队披露机器人“大脑”进展:调用千问模型在宇树G1上验证

AI 导读

苹果研究团队在 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》,披露人形机器人自主控制系统 HALO,并将其部署在宇树 G1 上,让仿真中学到的动作在陌生真实房间执行。团队在 6 个未预先扫描或建图的真实环境中完成 360 次单项任务测试,平均成功率 91%;3 种组合任务各测 10 次,平均成功率 70%,其中“俯身通过障碍—走向目标—推箱子”为 50%。研究团队公开了数据生成、模型训练和部署代码,并指出新增物理任务仍需人工编写提示词和设计动作关键帧,机器人目前主要依赖视觉感知,加入触觉感知是后续改进方向之一。

推荐理由

AI 评分 62

论文公开了仿真到真机的数据生成与部署代码,并给出分场景成功率,便于对照现有机器人控制方案。

主题

标签

正文

据澎湃新闻,苹果研究团队披露机器人“大脑”研究进展。当地时间11月4日,苹果研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》,披露了人形机器人自主控制系统HALO。研究团队将该系统部署在宇树科技的G1人形机器人上进行验证,让机器人将在仿真环境中学到的动作,带到陌生的现实房间中执行。研究团队还公开了数据生成、模型训练和部署代码,涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。据论文披露,研究团队在6个未预先扫描或建图的真实环境中开展360次单项任务测试,平均成功率为91%。另在一个真实环境中,对3种组合任务分别开展10次测试,平均成功率为70%。其中,“俯身通过障碍—走向目标—推箱子”这一组合的成功率为50%。

需要指出的是,仿真生成数据并未完全摆脱人工参与。团队表示,新增物理任务仍需人工编写提示词、设计动作关键帧,部分动作还使用了人类视频或动捕素材。研究团队同时指出,目前机器人主要依赖视觉感知,难以直接感知接触情况;当物体离开相机视野或被遮挡时,涉及较多接触的任务表现会下降。加入触觉感知,是后续改进方向之一。

来源

第一财经