Xingyuan Intelligence Releases Cross-Embodiment Data Engine Chorus, Untangling the Challenges of the Embodied Data Pipeline

数据规模不断扩大，有效性却没有跟上。

作者丨向 欣

编辑丨高景辉雷峰网：一家具身数据厂商告诉我们，他们向模型厂商交付了几万小时数据之后，对方反过来问了一句：能不能顺便帮忙把模型也训练出来，好让他们“交个差”，原因是模型厂商自己心里也没底，不知道这批数据喂进去能训出什么结果。这种焦虑与无力，是当下不少模型厂商的真实状态，他们面临的真实困境是：虽然在不断花钱采集、购买数据，数据规模不断扩大，但数据的有效性却没有跟上。钱花出去了，效果却像打了水漂。年初，不少具身公司声称今年要采集百万级别的数据。大半年过去，确实有公司宣称已经积累了百万数据，但模型能力上似乎没有看到对应的提升，反而被 GPT 的 Astra 抢了风头。问题不仅在于数量，还在于数据管线。数据被大量采集回来，但从采集到进训练之间那段加工链路存在大量问题：筛选没有细粒度标准，数据难以跨本体迁移，数据质量至今没有公认的评测机制。具身的数据多了，可用数据却不一定多。具身数据管线该怎么做？为此，我们与机器人基础模型公司行元智能创始人兼CEO杨世琦聊了聊，试着拆解这条数据链路上的关键难题，以及如何让规模不断增长的数据真正转化为模型能力。今天，我们就把这条管线拆开聊透。

01

数据量在涨，但「可用数据」没跟着涨 一条原始数据要变成机器人可以学习的数据，通常要经过五个环节：

首先是数据筛选，剔除画面模糊、动作中断、轨迹异常等低质量样本；

其次是数据标注，给操作过程补充任务、物体状态、动作阶段和语言指令等信息，让模型能够理解数据中发生了什么；

第三是动作转换，将人类示范或一种机器人产生的动作，映射到目标机器人能够执行的动作空间；

第四是数据验证，通过规则检查、仿真测试或真机实验，判断数据是否合理、能否执行；

最后是反馈迭代，结合模型训练和实际部署的表现，调整数据筛选、标注和转换策略。这条链路的绝大部分环节都已可以自动化，但在实际操作中存在不少难题。首先，数据缺少统一、细粒度的筛选与评价标准。从大语言模型的经验来看，如果训练中混入一批dirty 数据，带来的降智大概率是永久性的，会在整个模型生命周期中持续产生影响。但目前业内仍然没有一个可规模化的数据筛选机制。一段视频画面清晰、动作完整，不代表它对模型训练有用；一条转换后的轨迹符合运动学约束，也不意味着机器人能够在真实环境中顺利完成任务。数据供应商和模型公司对“高质量”的理解存在差异，如何衡量一份数据的实际训练价值，仍然是个难题。其次，从人类动作到机器人动作的转换存在明显门槛，也就是做动作重定向难。不同机器人的关节结构、工作空间和末端执行器各不相同，同一项任务可能需要不同的操作策略。尤其在人类第一视角视频中，往往缺少机器人关节状态、力觉等信息，系统需要从有限的视觉观测中恢复空间关系，再生成适配目标机器人的动作。对于结构相近的机械臂，可以通过逆运动学等方法求解；但如果末端执行器差异很大，问题就会复杂得多。人类用五指手抓住一个物体时，可以调整多个手指的位置和施力方式；夹爪执行同样的任务，采用却是完全不同的接近角度和抓取策略。两者难以使用同一套动作轨迹。除了数据管线本身的技术难题，行业也存在不少乱象。一是数据处理分工混乱，数据采集、数据处理和模型训练往往由不同团队承担，各方的交付标准和评价指标未必一致。二是许多公司依赖开源管线。不少团队使用开源工具拼接处理流程，却缺少针对具体模型、任务和机器人本体的系统设计。行业讨论容易聚焦采集了多少小时、积累了多少条轨迹，对数据经过哪些处理、多少样本最终可用、能否改善下游任务表现，披露相对有限。结果是，数据规模、可用数据规模和真正产生训练收益的数据规模，容易被混为一谈。建立完整的数据管线，并用训练和部署结果验证每个环节的价值，正在成为比单纯扩大采集量更需要解决的问题。

02

采集门槛越低，管线要求越高 具身数据的来源越来越多，但不同数据类型面临的管线难题并不相同。目前行业主要探索四类：真机遥操作、仿真、UMI，以及人类第一视角视频。真机数据质量和部署一致性最好。真实机器人产生的数据与目标机器人的控制、传感器和执行环境接近，容易直接验证。代价是贵：机器人、操作人员、场地和任务都需要投入；其次还是跨本体难，在 A 机器人上采的数据要用到 B 机器人上，每家处理方式不同，做出来的跨本体能力也不一样。仿真数据的优势是非常容易扩量，缺点是常谈的 Sim2Real gap。以 robot 为主的大量仿真器，下层物理引擎已经很多年没有足够大的变动，无法准确反映摩擦力、物体形变、接触位置等信息，这个缺陷在装配、抓取、拧转这类需要精确控制接触的富接触任务中尤其明显。UMI 等低成本操作采集方案通过更轻量的采集装置记录人类操作，减少了对完整机器人遥操作系统的依赖，让单条数据更便宜、更容易采集。但它仍然需要人主动执行任务、使用特定设备，不同UMI采集装置与机器人之间还存在动作映射和适配问题。本质上它仍是项目制驱动的增量数据，多样性和 scaling 上限受采集组织方式约束。第一视角人类视频打开了更大规模的数据来源。人类日常生活中本来就存在大量操作行为，头戴相机、智能眼镜等设备有机会持续记录，降低专门组织采集的成本。但这条路线将更多压力转移到了数据管线。首先，视频通常缺少机器人系统能直接使用的关节状态和动作信息，系统需要从视频中提取手部、物体和动作，再恢复空间关系。其次，采集设备差异更大，画质、视角、帧率和传感器配置各不相同，管线需要消化这些差异。来源越广，原始数据质量就越难统一，日常视频里既有有价值的操作，也有大量与训练目标无关的内容，需要更高效的筛选方法。再次，人类操作与机器人本体之间存在差异，视频中的人可以用灵巧的双手完成任务，机器人可能配备不同结构的手或夹爪，系统需要将人类动作转换成目标机器人能够执行的动作。四条路线各自的优势和短板可以归纳为：真机数据更贴近真实执行，仿真更容易扩量，UMI 降低了部分采集门槛，人类第一视角视频有机会获得更丰富、更自然的数据来源。其中的基本矛盾是，降低对采集设备的限制，有利于扩大数据规模，却会增加清洗、空间重建和跨本体转换的工作量。也就是说，数据源越丰富，就越需要能够统一处理不同设备、不同动作表征与不同机器人本体的数据基础设施。更重要的是，数据来源的扩展不等于直接扩展了模型可学习经验。如果目标是持续扩大可用数据的规模，优先实现Scaling，人类第一视角视频与UMI无疑是最具潜力的路线；但要把它真正用于机器人训练，关键在于建立足够可靠的数据处理管线。这也正是行元智能选择的方向。

03

把人类操作视频变成机器人训练数据行元智能最近发布了面向机器人预训练的跨本体数据引擎 Chorus（众行），能够将来自不同设备的人类操作数据，转化成适配不同机器人本体的训练数据。和单纯追求数据规模不同，Chorus 的一个重要设计思路，就是从机器人学习和部署的需求来反推数据应该如何组织。具体来看，它针对前面提到的几个核心问题，做了五件事。第一，不限制数据来源，尽可能将能用的数据用起来。智能眼镜、胸戴相机、腕部相机、UMI 等设备采集的数据，都可以进入 Chorus。不同设备的拍摄视角、画质和深度信息存在差异，行元采用基于 learning-based 方法处理这些差异，同时用足够多的配对数据训练，信息较少的设备也能够尽可能恢复出更可靠的空间信息，例如可以让单目相机逐步逼近双目效果。数据进入管线后，系统还会记录其来源、评估质量并进行分级，再根据训练阶段调整不同数据的使用比例。这样做的目的，是尽可能利用已有数据，形成一个合理的数据配方，避免质量参差不齐的数据直接混在一起。第二，把跨本体作为设计前提。 Chorus能够将一份人类数据转成多种机器人可用的训练数据；新增机器人时，不必从头重跑全部原始数据。行元的做法是，先在机器人的 system 侧把不同 controller 和部署能力搭建起来，再反推管线该输出什么，顺序上保证了跨本体不是事后补丁。做好跨本体表征，必须既清楚哪些信息与硬件无关，又保证动作迁移所需的信号足够，这要求设计者接触过足够多的机器人本体，并深度理解这些机器人硬件、传感器排布和控制器输入。行元创始人兼 CEO 杨世琦毕业于加州大学圣地亚哥分校，师从王小龙教授，是较早开展跨本体操作与人类数据学习方向的研究者之一，在具身行业早期搭建过多机型的控制系统和数据方案，积累了深厚经验。第三，可以对第一视角数据做完整重建。 整条转化链路一共分为五步，层层递进：基础清洗之后，第一步是帧级原子动作标注，按任务、动作、交互物体逐级拆解视频，记录左右手在不同时段的动作以及接触对象。第二步开展二维分割、深度估计与手部定位，识别出手、工具、交互物体等关键目标。第三步将二维信息还原为完整三维场景，重建相机轨迹、手部位姿与物体六维姿态，保证空间逻辑自洽。第四步，引入运动学与动力学约束动作重定向，在仿真环境校验目标机器人能否复现该动作，输出适配机器人的三维轨迹。第五步再将三维场景渲染回二维画面，让训练输入和真机部署时的感知形式对齐，抹平训练和落地之间的差距。和仿真数据相比，这套方案源自真实观测，不存在物理引擎带来的偏差，物体交互变化贴合现实规律，兼顾成本与数据质量。行元技术联创杨靖康长期深耕第一视角视频理解与多模态学习，主导过 EgoLife 等代表性工作，这也是 Chorus 处理人类第一视角数据的重要技术积累。第四，建立可量化的评分体系。 Chorus 从操作丰富度、标注质量、三维可恢复性、机器人可迁移性和视角稳定性五个维度为数据评分，数据评分既用于筛选和评估训练数据，也能为具身模型的训练提供指导信号。第五，把闭环纳入设计。 Chorus 不仅处理各路来源的人类数据，也为真机部署后的数据回流预留通道。部署端的失败识别靠一个 learning-based 的 state policy 监测机器人状态，初期由工程师主动干预产生训练信号，部署越久、接管越多，监测越准；部署方法论上先重设计 SOP、再算 ROI，接受人机并行，逐步提高自动化程度。这五件事，对应的是行业管线五个痛点：来源复杂难统一、跨本体难、第一视角转化难、质量难量化、闭环缺失。Chorus 将这五个问题纳入一套数据引擎中解决了。

04

模型厂商必须自己定义数据管线 评价一套具身数据管线做得好不好，关键要看三个问题：原始数据能转化出多少有效训练数据、这些数据能否真正提升模型能力，以及整个过程的成本能否支撑规模化。行元给出的数据是：平均可用数据转化率提升至 85%；在当前测试配置下，通过 16 种机器人本体适配，将每小时有效机器人轨迹的处理成本降至 15 元；结合 3 倍指令增广，可实现约 40 倍的有效训练数据扩容，单位训练样本的等效成本约 5 元/小时。此外，行元此前发布的 Continuo 可部署于可穿戴设备，支持人类动作视频的规模化采集与连续理解；计划年内推出的 Duet，则是面向真实部署的人机共驾系统，机器人自主执行，遇到困难主动请求接管，一人可按需监管多台，接管产生的纠正经验回流用于后续训练。Continuo（随行）、Chorus（众行）、Duet（同行）共同构成行元从真实世界经验走向物理行动的学习基础设施。不难看出，行元的数据管线、模型训练和部署系统是耦合的。行元认为，模型厂商必须自己定义数据管线：不知道目标机器人需要什么输入输出，就不知道管线该输出什么；把管线交出去，等于把 scaling 的解释权也交出去。行元三个 Chapter 是这条理念的展开：Continuo 解决数据从哪来，Chorus 解决数据怎么变成训练信号，Duet 解决部署后的经验怎么回流。回到开头那个问题：当行业已经积累了越来越多的具身数据，为什么数据还没有充分转化为机器人的能力？行元的解法是，通过两条路径推动具身数据 Scaling：一条开发人类日常活动中的数据价值，尤其是规模庞大的人类第一视角视频，构建一个数据处理能力极强的跨本体数据管线，降低经验转化的成本；另一条是从机器人部署中积累真实数据，让模型在执行过程中不断获取新的学习经验。要让这些数据真正服务于不同形态的机器人，底层还需要解决跨本体问题。这构成了行元从人类数据采集、跨本体转换到部署反馈的整体思路。但数据扩大，只是解决了问题的一半。数据和模型之间并非简单的供给关系。数据管线决定了哪些真实世界的经验能够进入模型的学习目标，而训练表现和真实部署的反馈又反过来决定什么样的数据更有价值，需要什么样的处理方式。只有把数据的生产、转化与模型训练联系起来，数据规模的增长才有可能促进模型能力的良序提升。杨世琦告诉我们，这也是行元选择把数据管线与模型研发深度结合的原因。对机器人基础模型而言，Scaling 不只是不断增加训练数据，更需要在数据与模型的相互迭代中，提升每一份数据的学习价值。当然，这只是其中一条路线。真机采集、仿真、UMI 和人类视频各有优势，数据的表达方式、转换方法和训练机制也仍有探索空间。具身智能需要 Scaling，但 Scaling 不仅需要大规模的数据支撑，还要找到让更多数据真正发挥作用的方法。行元的探索，让行业看到数据规模化已经有了一些具体且可行的工程解法。这或许也是具身数据管线接下来值得关注的方向：如何让已有的真实世界中丰富的经验，以更低成本、更高效率进入机器人的学习过程。