AI Trends

Niwa Robotics Founder Yang Ruigang: The Data Pitfalls Autonomous Driving Fell Into, Robots Will Step Into Again

Sina TechUpdated Nov 18 19:15

English text is being prepared.

AI summary

Niwa Technology founder Yang Ruigang has chosen community last-mile delivery as the implementation scenario for embodied intelligence, proposing the concept of "embodied action intelligence" and building a system around the World Travel Model (WTM) that encompasses data generation, physical simulation, and model training. He assesses that generalizing robots for homes and factories is difficult or demands strict cost requirements, whereas community delivery can leverage autonomous driving technology and gradually expand its scope of application. To address Corner Cases in real-world environments, Niwa emphasizes advancing routes by combining lightweight topological maps with real-time perception, prioritizing the resolution of interaction issues such as opening doors and riding elevators to control ROI.

Body

新增众测推广文案 新增众测推广文案end 添加App专享导流

做了十多年自动驾驶之后,杨睿刚决定把下一次创业的方向,从高速公路转向居民社区。

在此之前,他曾在美国高校研究三维视觉,后来加入百度研究院,负责机器人与自动驾驶实验室,又担任嬴彻科技CTO,推动自动驾驶重卡前装量产。从研究算法到让几十吨重的卡车真正跑上高速公路,他经历了自动驾驶从技术探索走向商业化的过程。

2024年,杨睿刚开始筹备第二次创业。彼时,人形机器人已经成为具身智能行业最受关注的方向,他也接触过相关创业机会,但最终选择了一个看起来没那么性感的场景:社区末端配送。

他判断,家庭机器人虽然市场空间大,但每个家庭的环境都不一样,泛化难度很高;工厂机器人则必须满足严格的生产节拍和成本要求。相比之下,社区配送既能复用自动驾驶积累的定位、导航和避障技术,又能通过开门、乘电梯、交付包裹等任务,让机器人开始与真实物理环境交互。

这也是杨睿刚创办纽娲科技的起点。他希望先让机器人解决移动和通行问题,再逐步进入更复杂的任务。为此,纽娲提出「具行智能」,围绕世界通行模型(WTM)搭建数据生成、物理仿真和模型训练体系。

从见证自动驾驶卡车在开阔道路行驶,到机器人在楼宇间处理各种复杂任务,杨睿刚一直在挑战无人实现的技术问题,但他却说,真正的机会,恰恰在于有些技术问题还没有被解决。

“难这件事,我们不怕。”

从实验室到量产,重新认识技术的价值

杨睿刚:我最早其实不是做计算机视觉,而是做计算机图形学。

我在清华的时候就在CAD和CG实验室,后来去北卡罗来纳大学教堂山分校读博士,也是因为那里在图形学领域很有名。

刚去的时候,我主要做图形渲染和显示,后来参与了一个叫Telepresence的项目。它想解决的问题是,能不能通过多个摄像头实时采集一个人的三维信息,再从不同视角渲染出来,让远隔千里的人也能像面对面一样开会。

做着做着就发现,渲染和显示逐渐不是最难的问题,真正难的是如何实时重建三维信息。

所以我的博士研究就转向了三维视觉,研究如何从图像、点云或者深度信息中恢复三维结构。后来又开始研究语义信息,不只是知道物体的三维形状,还要知道它是什么。

我是1998年进入这个方向的,比深度学习兴起早很多。当时北卡在图形学领域非常强,我也算是比较早开始往CVPR投稿的一批人。

但我不觉得是在坐冷板凳,因为三维视觉本身就有大量没有解决的问题。

杨睿刚:深度学习最早在计算机视觉中的应用,主要集中在图像分类、检测、分割这些任务。三维视觉真正大量采用深度学习,其实要晚一些。

我最早尝试的是把传统三维几何的约束引入深度学习框架,当时也和苏昊等人合作,研究怎样把三维几何和深度学习结合起来。

后来又做了生成新视角、扩散模型、视频生成控制等方向。

对研究人员来说,新技术出来就要重新学习。只不过现在学习频率越来越快,前面的东西还没完全学明白,后面可能就已经有新方法把它替代了。

我觉得科学家必须具备从头学习的能力。

杨睿刚:我们做过大规模街景三维重建,用于仿真训练。当时美国很重视利用仿真系统,希望在进入真实环境之前,先通过三维重建了解街道和地形。我们做这件事的时候甚至比Google Street View还早。

我们还研究如何把非常稠密的点云转成更简化的多边形模型,同时保留高质量贴图。后来苹果地图的三维地图也采用了类似的技术思路。

商业化也尝试过。我在美国拿过两次SBIR项目资助。这类项目会给几十万美元,目的就是推动论文成果往产品转化。

但当时基本还是非正式的状态。有兴趣就继续做,没兴趣可能就去找工作了。

那时候我们没有很强的商业意识,也没有特别懂商业化的人推动,所以最后都没有真正做起来。

《新智驾物理AI》:您此前已经在美国高校做了多年研究,也尝试过技术商业化。2016年为什么决定加入百度?当时是谁邀请您的?

杨睿刚:是林元庆邀请我的,吴恩达负责面试,最后还和李彦宏线上交流。

林元庆、吴恩达后来陆续离开,我大概有两年半时间主要是在王海峰的领导下工作。

2016年百度研究院大概有五六个像我这样的科学家,每个人负责一个相对独立的实验室,对人事和技术方向都有比较大的自主权,运作方式其实很像大学里的实验室。后来我负责机器人与自动驾驶实验室。

《新智驾物理AI》:您在百度期间推动了ApolloScape数据集。当时为什么要做这个项目?投入了多少资源?

杨睿刚:这个项目要感谢陆奇。

陆奇加入百度之后,非常重视技术品牌建设。他觉得既然自动驾驶领域已经有KITTI这样的知名数据集,百度也应该有自己的数据品牌,这个任务就交给了我。

ApolloScape核心团队大概有10个人,集中做了半年左右。参与者包括黄新宇、庚琦串、周定富等同事,大家分别负责数据采集、清洗、工具开发等工作。

我们还得到了百度其他团队的支持。比如那套高精度数据采集车,上面用了高精度激光雷达,以及导航级的IMU和GPS,我们又增加了一些额外传感器。

ApolloScape的数据100%来自真实道路采集,不是仿真生成的。不过后来公司的业务重点发生变化,数据集也没有得到原来那么多持续建设和维护投入。

杨睿刚:最打动我的是嬴彻提出的商业模式,叫“双驾变单驾”。

中国很多长途货运原来需要两个司机轮流驾驶。如果能够做出一套足够可靠的辅助驾驶系统,让其中一个司机转变为安全员,就有机会把两个司机变成一个。这样既能改善运输成本,也能在真实运营过程中不断积累数据,再逐步向L4发展。

我觉得这是一条渐进式的路线。如果一开始就做L4,量产和大规模部署都会非常困难。尤其重卡要在高速公路运行,路权问题更复杂。

相比之下,先做能够商业化的辅助驾驶,再逐步提高自动化水平,是一个更现实的选择。

杨睿刚:我加入时,主要负责建立完整的自动驾驶技术研发体系。

当时公司有中美两个研发中心,最初的思路比较接近“美国研发、中国落地”。但我进去以后明确提出,这种方式很难长期成立。自动驾驶需要大量真实测试。产品最终在中国落地,研发团队就必须尽可能靠近真实场景。

后来中国研发团队从大概10个人逐渐扩大到200人左右,美国团队则从大约50人缩减到10人左右,后来进一步缩到个位数。

我一直认为,做研究可以采用相对松散的跨国合作模式,但真正做量产产品,研发、测试和交付必须紧密结合。除了现场测试,跨国协作还会涉及芯片供应、法律法规等现实限制。

杨睿刚:我经常说:我们是在“戴着手铐跳舞”。

因为做量产,很多硬件条件都是提前确定的。

比如芯片算力、传感器配置都已经定了。你不能像做研究一样,觉得算力不够就换一张更好的卡。

到了量产,几个严重的失败情况,就可能让产品不能出厂。做产品像木桶。最短的那块板必须足够长。

重卡就是一个例子,空载和满载差别很大,车头,挂车的运动关系也复杂。我们还花了很多时间做节油。商用车是生产工具,客户会计算成本和效率,这些问题都需要技术来回答。

杨睿刚:会。我跟过很多次车,也跟司机交流过,还见过车厂,以及快递物流企业的负责人。

我很享受这个过程,因为能从完全不同的角度理解客户需求。

做CTO不能只关心技术,也必须知道客户是谁、为什么买这个产品、到底想解决什么问题,技术负责人最忌讳的就是闭门造车。

具身智能落地,先找匹配度,再谈通用

杨睿刚:2024年开始认真考虑再次创业时,我们最早想用的名字叫Numa,中文可以叫“木牛”对应木牛流马。我觉得英文发音简单,外国人也容易读,而且听起来有点像Puma,我甚至已经把域名注册好了。

后来年轻同事,特别是HR提醒我,这个名字千万不能用,因为中文听起来像“牛马”。我作为创始人自嘲一下倒没关系,但员工天天说自己在“牛马公司”工作,好像就不太合适了。

后来就在原来的名字上继续调整,最后变成了纽娲。“纽”有连接、纽带的意思,“娲”来自女娲造物。我们希望创造一种新的机器人形态,甚至可以说是一个新的物种。

杨睿刚:我始终会问产品市场匹配在哪里。从技术突破到大规模应用,中间还有很长一段路。

家庭和工厂都有自己的难点。

家庭看起来相对封闭,但每个家庭的环境都不一样,物品摆放、家具结构、用户需求都有很大差异,泛化能力要求非常高。

工厂的问题主要是节拍和效率。机器人可能能够完成某个动作,但如果速度远远慢于人工,或者成本是人工的好几倍,客户就很难接受。

相比之下,末端配送对精细操作和动作节拍的要求没有那么高

小区配送里,有一部分问题是我们熟悉的,比如定位、导航、避障。再往前走,就要刷门禁、开门、乘电梯,把包裹交给用户,机器人需要和物理环境交互。这是自动驾驶与具身智能之间一个很有意思的交集。

这个场景还有一个好处:可以选择从哪些小区开始。不需要一开始把所有问题都解决,先找到条件合适的小区,把系统跑通,再逐步扩大适用范围。

杨睿刚:我们最初觉得,没有电梯、配送最困难的老旧小区,应该最需要机器人。后来和客户聊得多了,发现市场给我们上了一课。

他们建议先从高端小区做起。一方面,这类小区的付费意愿可能更强;另一方面,现有技术更容易满足那里的环境要求。这个反馈会直接影响产品形态。原来我们首先考虑爬楼梯,现在会更认真地看,哪些场景用轮式底盘就能满足需求。

哪些功能是客户真正需要的,哪些暂时不重要,现在的判断比以前清楚了,量产计划也因此往前调整。

《新智驾物理AI》:您有没有完整跟过快递员或者外卖骑手的工作流程?最难的是哪100米?

杨睿刚:我们跟过很多次,也和很多快递员、外卖骑手聊过。他们最不愿意做的事情,就是上楼。

对快递员来说,最好是直接把包裹放到驿站,后续分拣、上架和配送由别人完成。

外卖骑手也是一样,比如深圳华强北,有些商业楼宇下面会有专门帮骑手送餐上楼的人,有些是退休人员。到了午饭、晚饭高峰期,他们就在楼下等着,骑手付大概1块钱,他们负责把外卖送上楼。

因为骑手会算账,假设一单需要20分钟,最后10分钟都花在等电梯、上楼上。骑手这一单可能挣六七块钱,他宁愿拿出1块钱,让别人完成最后这一段,自己利用这10分钟再去接下一单。如果这段时间能够多挣三块钱,扣掉这一块钱,还是多赚两块钱。这个账,他们肯定比我们算得更清楚。

顺丰内部甚至有一个很形象的叫法,叫“上楼机项目”。

杨睿刚:我觉得商业模式不太一样。

酒店里的配送需求是有限的,机器人每天能够执行的任务量也有限。如果使用率不够高,经济账就很难算。而且酒店配送的技术门槛相对没那么高,主要是SLAM加路径规划。参与者多了以后,就容易陷入价格竞争。

但一个居民小区每天产生的快递和外卖订单,远远超过一家酒店的配送需求,末端配送的任务量更大,潜在使用频率也更高。

当然,前提是技术真正能够解决问题。

《新智驾物理AI》:机器人进入小区,还会遇到哪些实验室里想不到的Corner Case?

杨睿刚:这种情况太多了,我们遇到过一个很有意思的场景。

机器人在一条很窄的路上遇到一个人。那个人很客气,一直招手示意机器人先走。但机器人没有理解这个手势,就一直停在那里,对方也不走,继续招手。结果人和机器人就这么僵住了。

还有一个海外客户问我们,机器人如果被人踹倒了,能不能自己重新站起来,继续执行任务?尤其是四足机器人,上面还带一个大包,如果整个被翻过来,像乌龟一样四脚朝天,想自己恢复正常姿态其实很难。

以前还有同事做商场清扫安防机器人,碰到过四五个人一起把一台100多公斤的机器人抬到另一个角落。因为那台机器人基于SLAM导航,被突然搬走之后初始化位置丢失,最后就只能停在那里。

我们自己更关注的还有安全问题。比如机械结构突然断电之后,机器人可能会自动下沉。如果这时候有小朋友把手放在关节附近,就存在夹伤、压伤的风险。

机器人真正进入人类生活环境之后,很多问题都是在现场才能发现的。

杨睿刚:还是要考虑ROI。

比如打开防火门,技术上可以做到,但有些防火门很重,需要较大的扭矩,也就意味着需要更重、更强的机械臂。机械臂变重之后,本体也要加强,但有些小区电梯非常小,机器人如果做得太大,进去之后连转身都困难。

所以问题是为了开这扇门,要增加多少成本,又会带来哪些新的限制。

有时候直接给门安装一个开门器,花500到1000元左右,就可能解决。相比之下,改造电梯涉及更多法律法规和审批要求,反而复杂得多。

目前客户比较明确的要求是,第一不能改电梯的控制系统,第二机器人必须能够通过门禁。我觉得现阶段没有必要要求机器人把所有Corner Case都解决之后再商业化。

末端配送和Robotaxi还有一个很大的区别:Robotaxi要在一大片连续区域里都能够运行,商业服务才能成立;配送机器人则可以先挑选条件合适的小区,把一个小区真正跑通,产生收益,再逐步扩大规模。

杨睿刚:轻地图仍然使用地图。我们使用轻量拓扑地图提供基本空间关系,不依赖高精地图,再结合实时感知推进路线。

这个方向希望减少高精地图制作和维护的负担。不过新场地还需要哪些初始化、设施配置和测试,要看具体环境。判断它有没有价值,最终要回到准备一个新点位需要多长时间、现场变化后要做多少调整。

模机器人真正壁垒是系统闭环

《新智驾物理AI》:现在很多具身智能公司都在做端到端模型、世界模型或者VLA。纽娲的模型架构有什么特别之处?

杨睿刚:坦率说,我觉得现阶段各家在模型架构上的差异,可能没有想象中那么大。纽娲目前已经验证的核心能力,主要在仿真器、数据生成和数据增强。

真正影响效果的,是手里有多少数据、这些数据覆盖什么情况,以及你知不知道应该用什么数据训练出想要的能力。这里有很多经验,拿到一个模型架构,并不意味着就能把任务做出来。

我过去在百度做ApolloScape时,就意识到真实采集很难覆盖所有长尾情况。

杨睿刚:比如为了采集消防车,我们会让采集车守在消防站附近,等消防车出来再跟着采集。但你不可能用这种方法覆盖所有情况。越往后,采集回来的数据里,真正有价值的信息比例越低。

所以很早我们就在考虑合成数据。真实数据告诉你现场发生什么,接着要考虑能不能增加数据的复杂度和多样性。这个认识一直延续到现在。

《新智驾物理AI》:纽娲科技核心技术架构的WorldWeaver、SimWeaver和WTM之间,分别是什么关系?

杨睿刚:WorldWeaver负责组织真实场景数据、三维资产和生成数据,SimWeaver提供物理仿真能力,这套数据与仿真体系面向WTM的训练和评测。

我们希望现场发现的问题可以进入可重复的测试过程。比如某次交互失败,如果能把对应的场景和条件在仿真里复现,就可以反复比较不同处理方法,再回到真机验证。这样,数据才和产品的问题连起来。

杨睿刚:我们做过不同品牌四足机器人之间的迁移。两种本体比较接近,所以相对容易。现在也在把系统迁移到轮式底盘上。

四足和我们选用的轮式底盘,运动方式不一样。四足可以做的一些横向移动,换到这种轮式底盘上就要重新处理,需要调整轨迹跟踪、控制和平滑。底层控制的复杂程度也不相同。

目前,整套系统基本已经能在轮式底盘上跑起来。

杨睿刚:目前还没有明确的商业需求。现阶段四足和轮式都有客户需求,我们还是希望优先做能够尽快产生实际价值的事情。

我们看的是人类生活环境里,哪些任务需要机器人移动和执行。小区配送里提炼出来的能力,将来可以用于其他任务,但要随着具体场景去验证。

杨睿刚:肯定需要,我们现在就在定制自己的轮式机器人。

因为小区配送对本体的要求非常具体,不是随便拿一台现成的轮式机器人就能完成任务。

比如有客户明确提出,机器人要能爬8度到10度的坡,还要跨过5厘米的坎。5厘米其实已经不算低了。

尺寸也有要求。有些小区大堂虽然是双开门,但平时只开其中一扇,实际通行宽度可能只有五六十厘米。机器人太宽,就进不去。

但从配送效率来说,又希望它一次能装更多东西。装载量越大,机器人就越高、越重,可一旦做得太高,上坡时又容易失稳甚至倾倒。所以本体设计其实是一个不断权衡的过程。

杨睿刚:我觉得不矛盾。

首先市场足够大,像云深处这样的机器人公司,也不可能只依靠我们一家客户。

其次,如果合作伙伴愿意使用我们的大脑,我们也很愿意和他一起设计更适合具体应用场景的机器人。

很多机器人厂商本身就接受贴牌或者联合开发的合作模式。我们可以负责大脑和应用能力,他们负责本体制造,双方共同开发产品。这完全可以形成互补。

杨睿刚:至少未来两三年,我们还是会以整机销售为主。长期来看,我们希望通过软件授权和软硬件相关服务形成持续收入。

我们不打算自己持有大量机器人做大规模运营。运营有很强的专业性,可以和擅长这件事的企业合作。我希望纽娲的核心能力仍然是机器人智能系统和软硬件开发。

杨睿刚:今年9月底,我们受K2邀请,到阿布扎比参加了LIVEX,和他们旗下的AutoGo联合展示产品。目前也在和K2推进阿联酋的PoC合作。

接下来,希望和当地伙伴一起把具体场景和任务明确下来。机器人要经过什么道路、使用哪些设施,现场出了问题由谁处理,这些事情都要一项项落实。参加展会可以让客户看见产品,实际使用还需要进入具体场景去验证。

我们也想看看,换一个环境,哪些能力还能直接用,哪些需要调整。国内做社区配送积累的导航、设施交互和任务执行能力,到了海外能复用多少?建筑和服务流程发生变化之后,又要增加哪些工作?这些问题会帮助我们判断,哪些已经是产品能力,哪些还依赖针对单个项目的开发。

我们不打算自己做大规模运营,还是希望把精力放在智能系统和软硬件产品上。所以海外合作也需要把分工谈清楚:纽娲负责到哪一步,当地伙伴提供什么支持,怎样让现场问题及时回到研发。先把具体项目做扎实,再看怎样扩大。

杨睿刚:已经有收入了,但主要还是项目制和POC阶段的收入,还没有形成规模化收入。

杨睿刚:我们团队主要由两部分组成,目前全职员工加上实习生,一共三十多人。

一部分是年轻的科研人才,主要来自交大的学生和研究团队。另一部分是有成熟工程、产品和商业化经验的人,很多是我以前在百度、嬴彻的老同事。

高校资源对我们帮助很大。现在交大能够提供优秀的学生和研究人才,纽娲则能够提供更多算力、数据和真实场景。

杨睿刚:第一家明确愿意投资的机构是PNP。

我们是2025年11月左右开始接触融资市场,12月就拿到了PNP的第一个TS。

当时沟通得比较快,和他们的合伙人大概聊了两次,就已经比较明确。他们一共有三位合伙人,其中有一位主要在美国,我在2026年1月又专门去见了他,之后主要就是尽调等流程。

他们最看重的其实是团队的完整性。至于具体做哪个方向,反而觉得可以多探索,不必一开始就完全确定。因为那时候我们确实还是一个非常早期的团队,基本上所有东西都在PPT上。

种子轮之后,我们很快又完成了一轮5000万元的天使融资。

第二轮推进得更快。有投资方的负责人是我以前在百度的老同事,对我比较了解,也知道我们团队的能力,所以很多事情不需要反复解释。有一次见面之后,对方甚至说,口头上现在就可以给TS。

我觉得这也说明,早期融资很大程度上还是投人、投团队。

《新智驾物理AI》:原本计划2028年量产,现在为什么大幅提前?

杨睿刚:主要有两个原因。

一方面是竞争。我们刚开始做末端配送的时候,感觉这个方向还没有多少人在做,但现在已经有几家公司开始布局。

另一方面是市场需求。随着我们接触更多客户,发现实际需求比原来预想得更迫切。

从上一轮拿到TS到我们决定加快下一轮融资,中间大概只有三个多月,但这三个月里,我们完成了一些非常明确的技术里程碑,商务上得到的反馈也比以前清晰很多。

哪些功能是客户真正需要的,哪些暂时不重要,我们现在有了更明确的判断。所以量产计划至少比原来提前了半年,融资节奏也相应加快了。

杨睿刚:我觉得累计融资至少要达到亿元级别,才有足够的资金把产品做到真正有意义、能够持续稳定运营的量产状态。

做POC相对容易,但从10台到100台、再到1000台,模型训练、数据、制造都会开始消耗大量资金。更重要的是,真正让机器人在100个社区里稳定运行,和做出几台POC是完全不同的事情。

我们现在还只是在几个社区里运行,距离100个社区至少还有一个数量级的增长,真正的挑战是让它在大量不同的真实环境里长期稳定运行。

我经常跟团队说,如果这件事不难,那也轮不到我们这样的团队来做。外面有很多人比我们更懂行业、更懂运营,也更懂销售。

我们真正的机会,恰恰在于有些技术问题还没有被解决。因为难,所以才需要我们这些做技术的人。

难这件事,我们不怕。雷峰网雷峰网雷峰网(公众号:雷峰网)article_adlist[

雷峰网原创文章,未经授权禁止转载。详情见转载须知。 ]article_adlist 声明:新浪网独家稿件,未经授权禁止转载。 tech_web_article_v2015_block_bottom 非定向300*250按钮 17/09 wenjing begin

非定向300*250按钮 end

Source

Sina Tech