AI News

Apple unveils humanoid robot control system HALO, achieving a 91% task success rate in unfamiliar environments

Sina TechUpdated Nov 9 08:37

English text is being prepared.

AI summary

Apple's research team published the paper "Perceptive Humanoid Motion from Simulation" on arXiv, unveiling the autonomous humanoid robot control system HALO and validating it on the Unitree G1. The system has three layers: task orchestration, motion generation, and motion tracking. The top layer runs Qwen3.6-35B-A3B locally on a Mac mini mounted on the robot. In 360 single-task tests across 6 real-world environments that had not been pre-scanned, the average success rate was 91%; the average success rate for 3 composite tasks was 70%, and among them, the continuous task of bending down to pass an obstacle, walking toward a target, and pushing a box achieved only 50%.

Why read this

AI score 66

The paper presents a hierarchical control architecture and real-world success rate data, offering insight into the practical limits of VLM-driven robot motion generation.

Topics

Tags

Body

新增众测推广文案 新增众测推广文案end 添加App专享导流

快科技11月9日消息,苹果研究团队近日公开人形机器人自主控制系统HALO的最新研究成果。该系统通过视觉语言模型(VLM)与动作生成技术,让机器人不仅能理解人类指令,还能依据陌生环境调整动作,自主完成推箱子、坐椅子及穿越障碍物等任务。

研究团队近日在预印本平台arXiv发表论文《Perceptive Humanoid Motion from Simulation》,介绍HALO系统的设计与实验成果,并将系统部署在宇树科技(688836-CN)的G1人形机器人上进行验证。

研究重点在于让机器人将模拟环境中学到的动作,应用于未曾事先扫描或建图的真实空间,降低机器人对特定环境的依赖。

根据研究团队公开的展示影片,搭载HALO的G1机器人能依照指令推动箱子、跟随人类、坐上椅子,也能侧身穿过半开的门,或弯腰、爬行通过桌子下方。这些动作不只是预先设定好的路径,还涉及环境辨识、空间判断,以及依照障碍物调整身体姿态。

HALO的核心设计是将机器人的控制流程拆分为任务编排、动作生成与动作追踪三个层级,分别处理指令理解、全身动作规划及实际关节控制。

最上层的任务编排模组采用视觉语言模型,预设使用阿里巴巴的Qwen3.6-35B-A3B,并在机器人搭载的Mac mini上本地运行,无须连接网络即可处理任务。系统也支持通过API呼叫云模型,以取得更强的推理与规划能力。

该模组负责理解人类指令,并结合机器人视角的图像判断如何完成任务。例如,当收到“坐下”的指令时,机器人必须先辨识周遭环境,决定适合坐下的位置;若接获“坐到椅子上”的指令,但前往椅子的路径受到桌子阻挡,就必须将任务拆解为弯腰通过障碍、接近椅子及坐下等连续动作。

任务执行期间,模组也会持续通过机器人视角的影片确认动作是否成功,再决定推进下一个步骤或重新尝试,每次仅向下一层下达一项明确的子任务。

中间层的动作生成模组则使用另一款模型Qwen3.5-2B,搭配负责生成动作的DiT解码器,根据环境画面与当前任务,规划未来约5秒的全身动作。系统每秒重新规划约3次,让机器人能随着环境变化持续修正动作。

最底层的动作追踪器经过强化学习与策略蒸馏等程序训练,以每秒50次的频率运作,结合深度影像与机器人自身状态,将上层规划的动作转换为实际关节控制指令。

在实际测试方面,研究团队选择6个未经事先扫描或建图的真实环境,进行360次单项任务测试,平均成功率达91%。

不过,当任务涉及多个连续动作时,系统的表现仍有落差。研究团队另外在单一真实环境中,针对3种复合任务各进行10次测试,平均成功率为70%。

其中,“弯腰通过障碍物、走向目标、推动箱子”这项连续任务的成功率仅50%,显示机器人处理多步骤动作时仍面临挑战。

为了训练机器人适应不同环境,研究团队建立一套大规模合成资料生成流程,在1,000个程序生成的模拟家庭环境中,制作约300小时的主要训练资料,将机器人看到的画面、接收的指令及对应动作配对。

数据生成流程分为几个阶段:首先依照文字指令产生动作序列,再将动作放入虚拟房间,最后通过模拟工具渲染机器人执行任务时看到的画面。

以“坐到扶手椅上”为例,系统会先将任务拆解为向前行走、转身及坐下等动作片段,再由动作生成模型根据文字提示、路径点与关键姿态产生动作序列,并通过几何检查筛选结果,降低脚部滑动或身体穿入地面等不合理动作。

接着,研究团队将动作安排在不同的虚拟房间,检查机器人与家具之间的位置关系,排除可能发生碰撞的配置,再渲染机器人视角的画面。训练过程也会调整光线、色调及影像模糊程度,增加视觉资料的多样性,让同一套流程能产生完整的指令、影像与全身动作训练资料。

在计算资源方面,研究团队使用250张英伟达H100 GPU,耗时约48小时完成主要训练资料的合成;动作生成器采用模仿学习训练,使用64张B200 GPU;动作追踪器则通过强化学习、策略蒸馏等方式训练,使用4张H100 GPU。

不过,HALO目前仍未完全摆脱人工参与。研究团队指出,新增物理任务时,仍须由人员编写提示词、设计动作关键影格,部分动作也需要使用人类影片或动作捕捉素材。

此外,现阶段系统主要依赖视觉感知,尚难以直接掌握接触状态。当物体离开摄影机视野或遭到遮挡时,涉及较多身体接触的任务,执行表现便会下降。

研究团队将触觉感知列为后续改进方向,希望进一步提升机器人在复杂环境中的动作控制能力。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:鹿角article_adlist[

文章内容举报 ]article_adlist 声明:新浪网独家稿件,未经授权禁止转载。 tech_web_article_v2015_block_bottom 非定向300*250按钮 17/09 wenjing begin

非定向300*250按钮 end

Source

Sina Tech