破晓智能联合天珑移动发布 SeePhys Hub,推进全身全模态人类数据采集
10 月 14 日,破晓智能联合天珑移动发布全身全模态数据采集系统 SeePhys Hub,由四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成,可同步采集第一视角视觉、手部全模态数据与全身运动信息。头环重量不超过 220 克、单个腕部手环不超过 75 克,均支持连续 24 小时采集,头环内相机、IMU 与 UWB 同步误差不超过 0.5 毫秒。配套自研平台可将人类数据转化为面向机器人学习的多模态训练数据。
数据。同时,配套的自研数据处理平台,可将人类数据转化为面向机器人学习的多模态训练数据。 SeePhys Hub 是团队沿着 EgoTouch、TouchAnything、TouchWorld 技术路线推出的首款工程化产品,将此前在触觉数据与模型上的研究积累,转化为一套融合视觉、双手触觉与全身运动信息的可穿戴采集系统。 采集方式由繁到简,关键交互信息仍需补齐 具身智能究竟需要多少数据?已有研究者提出一亿小时 Ego 数据的估计。 当然,扩大采集规模,为覆盖更多场景与操作提供了可能。但采集时长并不直接等于学习收益,数据质量、与机器人任务的匹配程度,以及训练方式,同样影响最终效果。 破晓希望验证的是:在视觉之外,同步记录全身运动与触觉,更完整地呈现身体如何协同、手与物体如何接触,能否提高每小时数据的学习价值,让百万小时量级的全模态数据支撑预期的泛化能力? 日常生活中,许多任务都需要身体移动与双手操作持续配合。以铺床为例,人需要抓住被角、抬臂展开被子,再沿床边移动、拉平褶皱。身体位置决定双手能触及哪里,抓握位置与力度则影响布料如何展开。以视觉为主的 Ego 采集能记录眼前的操作,却难以完整捕捉
匹配字段正文