AgiBot, together with Tsinghua University and Infinigence AI, releases the CEL collective experience learning paradigm

AI WAVE丨智元发布CEL群体经验学习：机器人教机器人，96 台真机实现集群自主进化钟立磊1 小时前开辟自主成长的新路径。

导言：作为 AI WAVE 的第七弹，智元携手清华大学、无问芯穹发布群体经验学习（CEL）范式，持续落地 “让机器人真正上岗 —— 从数据到智能的全栈闭环” 作业智能布局。范式打通经验获取、经验利用、规模化在线学习完整链路，以“机器人同伴互为经验来源”为核心突破口，把真实作业中的每一次成功与失败都变成群体共同的学习素材，让机器人集群规模的扩大直接转化为任务执行可靠性的提升，为具身智能摆脱“专家示范难以同步增加”的规模化瓶颈，开辟自主成长的新路径。

120次连续包装手机，只失败2次——这不是熟练工的答卷，是一台机器人的：策略成功率从79.2%提升至98.3%，失败次数从25次降到2次，减少92%。更关键的是方法：这96台机器人没有等任何一位人类老师逐台示范——它们的动作监督，来自彼此。

10月30日，作为AI WAVE的第七弹，智元携手清华大学、无问芯穹正式发布群体经验学习范式CEL(Collective Experience Learning)。在插花、叠衣、手机充电、凳子组装、手机包装五项真实任务上，CEL训练的策略全部超过6名人类远程操作员的平均水平，最高反超16.7个百分点——在相同物理训练时间内，参与学习的机器人从16台扩至96台，成功率从86.7%升至98.3%。机器人数量的增加，第一次直接转化为任务执行能力的提升。

CEL论文概念图

以GPT-6 Astra为代表的前沿通用模型，零样本能力已相当亮眼，但落地拼的是可靠性——哪怕最强的模型，也会在接触交互与长流程执行中反复出错。行业的解决方案是人类示范，但这有一个结构性瓶颈：这套模式适合小体量实验室验证，一旦拓展至上百台机器人群体，人力示教就会成为性能天花板。

CEL 范式重构了机器人的经验获取来源：学习素材不再只来源于人类，而是来自机器人同伴的真实作业轨迹。

假设一台机器人在放置手机时遇到了困难，而另一台机器人曾在相似情境下成功完成操作。那么，后者的经验可以帮助共享策略弥补前者的不足，从而让一台机器人的练习惠及整个群体。

在这种范式中，人类的角色随之发生变化：从不断提供动作、协助探索，转向结果判定。

CEL与之前学习范式的区别

但想要把 “机器人教机器人” 从理念落地为可工程化运行的系统，必须攻克两大现实技术难关：

第一，稀疏反馈难题。长流程任务动辄数千步动作，最终只有成功或者失败 0/1 比特结果，无法定位究竟是哪一个环节出现问题；

第二，集群稳定性难题。上百台机器人并行作业，会遇到充电复位、网络抖动、硬件偶发故障，不能因为个别设备异常，造成整个集群训练流程中断。

针对以上两大痛点，CES推出了FERT 失败引导经验检索微调算法，以及FATS 容错异步训练系统。FERT 算法：失败指明方向，成功提供范本

现实中的工业实操任务往往链条冗长，以手机包装为例，完整执行时长超 3 分钟，包含 4000 余步动作，但任务最终的反馈却只有一个比特：成功记为1，失败记为0。这样的反馈可以区分任务是否完成，却无法直接指出：策略在哪些环节存在不足，又有哪些成功经验值得重点学习。为此，团队提出了失败引导的经验检索微调算法FERT。它区分了成功与失败样本的作用：成功轨迹提供可学习的动作，失败场景则指明学习的重点方向。

FERT算法框架图

失败轨迹用来定位短板：截取失败任务临近故障时刻的观测信息，经过图像、关节状态联合编码，标记出集群需要重点补强的工况；

成功轨迹用来输出范本：所有机器人产生的有效成功轨迹存入群体共享经验池；

检索优先采样训练：以失败场景的特征作为查询条件，在经验池中检索工况匹配的成功操作片段，提升该类样本训练采样优先级，把算力集中投入高频出错环节；

策略迭代闭环：更新后的策略下发全部机器人，继续产出新一轮成功、失败轨迹，循环往复持续优化。

一句话总结就是：失败不只是负面记录，更是告诉机器人，接下来重点该学习哪些场景。群体经验的价值，一方面来自持续的数据积累，另一方面取决于能否把适配的经验精准送到模型最需要学习的地方。FATS 系统：96 台真机并行训练，故障时间损耗仅 1.3%

让96台机器人持续积累经验，面对如下现实问题：有的执行快，有的复位慢；有的网络波动，有的需要充电，少数机器人还可能出现硬件故障。

如果局部故障就要重启整个训练，大规模的协同训练将无从谈起。

面对这一问题，团队设计了容错异步训练系统FATS，将100台机器人、50个边缘节点和6台云端服务器持续动态地组织起来，稳定支撑了大规模真实世界在线学习。FATS将机器人视作和GPU同等的训练资源，实现了所有训练硬件的统一调度。

1、SwarmLink：异步数据流，无需全员等待

数据平面 SwarmLink 负责连通环境、推理与训练节点。每一台机器人完成任务之后独立上传作业轨迹，训练模块收到数据即可实时更新策略，不用等待所有机器人完成一轮任务。训练、推理组件可灵活部署云端或者边缘端，适配多变的网络带宽条件，平衡通信开销与交互延迟。

SwarmLink设计

2、HotSwarm：节点热插拔，故障原地恢复

控制平面HotSwarm管理节点和工作进程的动态进出。支持机器人离线、充电、故障之后原地重启恢复，无需重置整套集群。在 96 台机器人的实验当中，集群累计完成 9834 轮任务采集，期间发生 30 起机器人故障事件，故障带来的机时损耗仅占集群总运行时间的1.3%。局部设备出问题，不会打断整个群体的学习迭代。

HotSwarm设计 五大真实任务实测：集群学习效果反超人类远程操作员

本次真机实验覆盖插花、叠衣服、手机充电、凳子组装、手机包装五大真实任务，覆盖柔性物体操作、精密装配、工具调用、长流程工业作业等典型场景。累计完成 600 次真机测试，总测试时长接近 30 机器人小时。

对照组设置了 SFT 离线微调、HG‑DAgger 人在环示教等主流方案做横向对比：

5个测试任务成功率

1、传统 SFT 离线微调平均任务成功率仅 36.3%；

2、依赖大量人类介入的 HG‑DAgger 方案提升至 81.0%；

3、CEL‑FERT 范式下，五项任务全部超越 6 名人类远程操作员平均水平，最高领先 16.7 个百分点，整体任务成功率达到 97.5%。

CEL 真正实现了摆脱人类示教，达成了更稳定、更鲁棒的任务执行效果。验证全新 Scaling 规律：机器人越多，作业表现越好

CEL 范式最关键的价值，是在真实真机上验证了具身智能的一条全新 Scaling 路径：同等交互时间下，参与训练的机器人数目越多，任务执行成功率越高。

真机scaling曲线

团队逐步扩大参与训练的机器人集群规模。在相同的物理时间内，FERT 算法在五项任务上均呈现出显著的规模化趋势：机器人数量越多，任务成功率越高。相比之下，依赖人类示教的 HG-DAgger 方案仅表现出有限的扩展能力，人类示教的采集效率成为其进一步扩大规模、突破成功率上限的瓶颈。

在难度最高的手机包装任务中，参与FERT 训练的机器人从 16 台扩展至 96 台，测试成功率从 86.7% 提升至 98.3%。在相同的真实世界交互时长内，更大规模的机器人群体直接转化为了更高的任务执行成功率。部署之后，机器人可以共同成长

CEL 群体经验学习为具身智能提供了一个值得继续探索的规模化方向：跳出高度依赖人类示范的传统路线，让机器人群体在真实作业中自主积累、互相学习。

机器人在真实工况下遇到的成功经验、故障失败，全部沉淀为整个集群的公共资产。一台机器人踩过的坑，全体集群都可以吸取教训；单台摸索得到的有效操作，所有机器人都可以复用。当每台机器人都能贡献经验，数量本身就成了能力增长的新维度。

来源：投稿

本文图片来自：123RF 正版图库 侵权举报返回分享相关文章全部评论