←News detail

People's DailyUpdated Oct 31 05:58

Fudan Team Develops "Danbao" Robot, Pure-Vision On-Device Brain Enables Autonomous Walking

English text is being prepared.

AI summary

"Danbao," a robot jointly developed by Fudan University's School of Future Information Innovation and the Jimu Tianshu team, was showcased at the 26th China International Industry Fair. Without preloaded maps and without remote control, it autonomously finds its way and avoids pedestrians using vision alone. Its visual spatial intelligence navigation has approximately 120 million parameters and can support real-time on-device operation of up to 8 visual input channels at under 20 watts of power consumption. The team is adapting it for various types of robots, including delivery and pickup, inspection, agriculture, and cleaning.

Why read this

AI score 56

The original text provides the parameter count and power consumption metrics of the pure-vision on-device brain, allowing readers to gauge the threshold for deploying embodied navigation on the robot body itself.

Topics

Tags

Body

在上海举办的第二十六届中国国际工业博览会现场,一台有着“大眼睛”和像火星车一样底盘的白色机器人吸引了人们的目光。展会现场人群流动、场景复杂,这台机器人没有预先设置好的地图,不靠手柄遥控,仅凭“眼睛”就能自主找路,主动避让行人,和观众一起“逛展”。

这款机器人名为“旦宝”(见图,魏鹏飞摄),搭载纯视觉端侧大脑,由复旦大学未来信息创新学院和极目天舒团队联合研发。研发团队负责人张天资介绍,长期以来,机器人的运动与作业主要依靠遥控、预编程和预先建图3种方式,而不是来自机器人自身对环境的实时理解。一旦环境或任务发生较大变化,就需要重新建图或编程。在抢险救灾、太空挖矿等作业场景中,变化因素多,急需能够实时理解环境并自主决策的机器人。

“旦宝”的诞生得益于纯视觉机器人端侧大脑技术突破。在模型层面,团队将机器人的各类运动统一归纳为“导航”问题,移动是将本体导航至目标位置,抓取等操作则是将指尖导航至目标物体附近。很多机器人抓取和行走用两套不同系统,存在数据一致性差、成本较高等问题,“旦宝”的大脑则能够指挥全身运动。基于上述“端侧大脑”训练出用于具身导航的物理技能——视觉空间智能导航,已在“旦宝”身上稳定运行。

张天资说,低算力、高智能是视觉空间智能导航的另一个特点。当前具身智能导航大模型的参数规模多为数十亿级,对算力要求较高,部分方案依赖离机推理,难以直接部署于现有机器人本体。视觉空间智能导航参数量约1.2亿,可在20瓦以内的功耗下支持最多8路视觉输入的端侧实时运行,让机器人摆脱对预建地图、预设程序的依赖,走向自主“理解”和决策、行动。

目前,研发团队正将成果与跑腿取送、巡检、农业、清洁等多类机器人开展适配,未来将探索让机器人从自主行走到自主完成任务,再到理解意图的持续“进化”。

Source

People's Daily