AI News

Ant Lingbo Open-Sources Tactile Foundation Model LingBot-Touch, 5.32M Parameters Integrates with Mainstream Action Models

Phoenix TechnologyUpdated Nov 10 13:12

English text is being prepared.

AI summary

Ant Lingbo Technology released and open-sourced the general-purpose tactile foundation model LingBot-Touch, which uniformly converts three types of tactile signals—vision-based tactile sensing, magnetic tactile sensing, and piezoresistive tactile sensing—into general tactile Tokens usable by action models. The team used human tactile gloves plus real-robot teleoperation to collect nearly 5,000 hours and 1.33 billion frames of real tactile data, two-thirds of which came from human gloves. After integration with T-Rex, π0.5, and LingBot-VLA, the average success rates improved by 23.18, 21.81, and 24.81 percentage points, respectively. The lightest Tiny version has only 5.32 million parameters, and after integration the parameter count increases by only 0.13% to 0.16%.

Why read this

AI score 73

The original text provides the open-source parameters of the tactile foundation model, the real-robot task improvement margins, and the data scale, which can be used to assess the significance of unified tactile representation for embodied manipulation.

Topics

Tags

Body

Fable 5.2睁眼拼魔方,中国AI闭眼搓麻将!人类“手感”首次Token化新智元2026年11月10日 11:38:36 来自北京Updated 2026年11月10日 12:02:24

毫无预警,Anthropic深夜丢出了下一代旗舰Fable 5.2,直接杀入了物理世界。

它的全方位性能碾压Opus 5.5,更是展现出了惊人的泛化能力——哪怕是没见过的新任务,也能轻松驾驭。

徒手拼魔方、拧瓶盖、画机器人,安装齿轮并测试齿合,Fable 5.2拿下64.9%的成功率,在RoboDojo测试中轻松碾压一众对手,足足是GPT-6 Astra的两倍还多。

就在两个月前,GPT-6 Astra同样秀出了逆天操作——被极客接进双灵巧手后,当场弹起了肖邦夜曲。

看着是不是觉得大模型马上要接管物理世界了?

就在同一份测评里,RoboDojo测试团队把这位「前任榜单状元」Astra搬上真机,去挑战插充电器和插试管。

结果因为只有眼睛、没有触觉,插头明明已经顶歪卡死,它却完全感觉不到阻力。

于是,毫不知情的机械臂顺着视觉指令一路硬怼,当场把真机硬件撞坏了!

研究员吓得赶紧拉闸急停,最终在33次真机测试里,这两项任务一次都没成,成功率直接挂零(0%)。

为什么反差这么大?

因为拼魔方、画画这类活,靠「眼睛」看就够了,可真到了手上干细活,光靠摄像头根本来不及,也看不见。

一方面,杯子刚在指尖打滑,等摄像头拍到画面早就摔碎了。

另一方面,拧瓶盖到底是拧动了还是手指在空转,镜头里看着一模一样,而且接触点还经常被手指自己挡住。

也正因如此,汽车厂里插线束这种活,就因为缺了指尖那一下手感,奥迪坦言全行业自动化率至今还不到10%。

说到底,今天机器人缺的已经不是更好的眼睛,而是灵敏的「手感」。

就在刚刚,蚂蚁灵波科技正式发布并开源通用触觉基座模型LingBot-Touch,一举补上了这块最关键的短板!

它头一回把视触觉、磁触觉、压阻式三种不同的触觉信号,统一转换成动作模型拿来就能用的「通用触觉Token」。

这样一来,机器人终于能练出一套换只灵巧手也能接着用的「手感」。

因此,为了不跟视觉和动作模型抢算力,团队直接派出了最轻量的Tiny版,只有532万参数。

由此,接进三大主流动作模型后,参数量只多出0.13%到0.16%,几乎不加负担,却让灵巧手瞬间有了「分寸感」。

拿「抓喷雾瓶喷水」来说,塑料瓶身很滑,纯靠视觉刚一使劲,食指就会打滑脱手。

而接上LingBot-Touch后,指尖刚有一丝滑动就能立刻微调握姿、稳稳扣下扳机,成功率直接由42.50%飙升到87.50%。

再看更考验双臂配合的「挤牙膏」,软管捏轻了挤不出,捏重了又会飙得到处都是。

有了触觉Token帮忙,双臂不仅能稳稳对准窄小刷头,拇指还能顺着管身阻力细腻施压,把牙膏精准挤在刷毛上:

就连开头让视觉大模型撞坏真机的「插孔对准」,换到更精细的「拿钥匙开锁」上也被轻松拿捏。

只见指尖捏住小钥匙,顺着锁孔微弱的碰撞阻力边试探边微调,对准后干脆利落地一把拧开挂锁:

更有意思的是「盲摸麻将」,规则严苛到只要牌面露给镜头看一眼就直接判零分。

灵巧手全程不靠眼睛,指腹轻轻一按就能摸出凹凸花纹、分进不同盘子,成功率直接翻倍冲上70%:

再比如拆开两个叠放的软纸杯,手指挡死了镜头,捏重一点杯子就扁,捏轻了又抽不出来。

但有了触觉Token帮忙,双臂就能顺着指尖微弱的摩擦变化,轻轻一搓抽出内层纸杯。

不止这些日常细活,团队用两款不同构型的灵巧手,搭配四款主流动作模型,一口气实测了26项真机任务和12项仿真操作,接入LingBot-Touch的组合全线夺冠:

三大动作模型全面提分,T-Rex、π0.5和LingBot-VLA平均成功率分别大涨了23.18、21.81和24.81个百分点;

精细操作稳准狠,单页翻书冲上91.25%,按压弹出SD卡飙到92%,搬运软纸杯最高拿下了100%满分;

12项仿真操作高分通关,转盘子、转笔成功率双双超97%,纯视觉0分的「端托盘平衡滚球」也拿下了67.7%。

5000小时真实触觉数据

灵巧手拿来就能用

既然触觉这么管用,为什么通用大模型这么难训?主要卡在「传感器各说各话」和「极度缺真实数据」上。

先看硬件,目前主流的三类触觉传感器,底层原理完全不同:

视触觉是在指尖藏个小相机拍软胶形变,能看清极细微的接触,适合拧瓶盖,但受帧率限制反应不够快;

磁触觉靠软磁材料受力改变磁场,擅长感知多方向力与滑动,适合拉拉链、插插头,但怕周围磁场干扰;

压阻式则是材料受压后电阻改变,能低成本铺满手指和手掌,代价是分辨率有限。

这就导致同样是压住杯壁,三类传感器记录的是三种完全不通的「方言」,换只手就得推倒重训。

更头疼的是缺真实数据,过去全靠人遥操作机械臂去采,又慢又贵,根本喂不饱大模型。

为了解决数据难题,蚂蚁灵波想了个巧办法——让真人戴上轻便的触觉手套,在日常生活里直接采集「人类手感」!

这样一来,拧瓶盖、擦桌子、插插头,人手怎么发力,手套就怎么记。

最终靠着人手戴手套与真机遥操作结合,团队攒下全球最大的近5000小时(4983小时)、13.3亿帧真实触觉数据,其中足足三分之二来自人类手套。

但人手和灵巧手长得并不一样,采来的数据对机器人管用吗?

对此,实测给出了让人惊喜的答案——人手攒下的「手感」,居然能零样本直接迁移给全新的灵巧手!

要知道,预训练里的磁触觉数据100%来自人类手套,模型压根没见过测试用的新款磁触觉灵巧手。

可团队把触觉模型参数完全冻住、直接装上这只新灵巧手后,π0.5的平均成功率立刻由48%飙升到74.17%,搬运软纸杯更是由58%跳到了90%!

这意味着,读懂物理接触的本事已经跨越了硬件形态,原封不动地由人手传给了灵巧手。

统一三类触觉信号

靠预测受力练出真手感

那在底层,怎么把三种传感器、人手和灵巧手的数据装进同一个模型?灵波团队抓住了最核心的共性:

不管传感器测的是图像、磁场还是电阻,最后回答的都是同四个问题——手指碰在哪、用了多大力、力往哪边走、有没有在滑。

既然问题一样,团队就把「理解接触」单独拎出来,分三步做成了一个通用基础模型。

第一步,按原理分别「收件」。

具体来说,团队给三类传感器各设一个极简入口,转成统一格式后再交给同一个触觉主干网络学习,同类原理的新硬件直接就能接进来。

第二步,把所有指尖放进同一张「地图」(5D-RoPE)。

光格式统一还不够,不同灵巧手的触点排布也千差万别。

因此,团队把所有触点统一映射到三维指尖球面坐标里,并随机微调疏密和位置,防止模型死记硬背单一硬件的排布。

第三步,做一道「补全接触」的题(Tactile-JEPA)。

为什么要专门设计这道题?因为抓握物体时,超过90%的触点其实啥也没碰到,读数全是零值和底噪。

如果照搬视觉模型遮住一块去还原原始读数,模型只要全填零就能白拿90分。

结果在四千小时数据下,传统方案的跨模态检索前5名召回率只有3.06%和8.69%!

于是LingBot-Touch借鉴了图灵奖得主LeCun推崇的JEPA架构,直接遮住高达90%的区域。

在此基础上,它不让模型去还原零值底噪,而是去推断被遮住的地方怎么受力,一举把检索召回率拉升到了49.32%!

为此,在五项物理接触测试中,团队允许主流开源模型FTP-1外挂硬件专用适配器,而LingBot-Touch全程锁死权重,一分参数都不改。

即便让了对手一手,LingBot-Touch依然把指尖盲摸定位误差由对手的2.19毫米压到了0.12毫米,在新款磁触觉灵巧手上也压到了0.16毫米。

同时,指尖三维力感知误差也降低了约65%,装进同一个动作大脑测5项真机任务,平均成功率以82.2%对67.5%大幅胜出。

更重要的是,团队在五千小时量级上观察到触觉也存在Scaling现象,跑出了两个关键趋势:

一方面,三类不同传感器的数据混在一起训,所有指标全面压过单打独斗,各条硬件路线的数据终于汇到一处,跑出了「1+1+1>3」的效果。

另一方面,随着数据堆到近5000小时,轻量级Tiny版在4000小时后逐渐饱和,而容量更大的Small版还在持续上涨。

这说明,模型越大、数据越多,机器人的「手感」就越强!

硬件不必统一,智能可以共享

LingBot-Touch的价值,其实不止于让机器人多了一种感觉。

要知道,触觉是典型的「物理原生模态」——文字、图像在网上随处可见,数字世界的大模型却从没真正「摸」过东西,这也是开头Astra插头卡死都浑然不觉的原因。

再加上传感器原理各不相同,触觉长期分散零碎,一直没能形成统一的表征。

如今,LingBot-Touch证明了,哪怕是最依赖硬件的触觉,也可以提炼出统一的表征。

这在触觉上得到了验证,进一步看,完全可以展开到具身智能整体。

之所以物理操作难以泛化,很大一部分正卡在硬件上:本体、灵巧手、传感器路线各异,好不容易攒下的经验,全被锁在了各自的硬件里。

对此,蚂蚁灵波的思路非常明确:硬件不必统一,智能可以共享。

它要做的,是硬件和场景之间的那一层智能——把不同本体、不同传感器积累的物理经验,转成可以共享的统一表征,再以开源、可拆分的方式提供出去。

今年,灵波已先后开源了负责看得更清楚的空间感知模型、负责想得更明白的世界模型,以及负责干得更利索的跨本体动作模型。

这次开源的LingBot-Touch,不仅补上了「具身原生」大脑全栈2.0里摸得更灵敏的那一块,也把同一套方法用到了最依赖硬件的触觉上——触觉能走通,说明这套方法同样能用到其他新的感知方式上。

落到产业上,这层共享智能直接帮上下游省下了重复造轮子的精力。

对触觉传感器厂商来说,过去每推出一款新传感器,都得自己采数据、从头训一套触觉模型,动作模型才能用得上,门槛高、周期长。

现在,新硬件直接接进LingBot-Touch就能产出通用的触觉Token,厂商可以把精力集中到精度、耐用性和成本上,产品也更容易被各家机器人用起来。

对灵巧手和整机厂来说,最大的变化则是选型终于自由了。

一只手上,不同部位要的东西本来就不一样:指尖负责捏、拧、搓这些精细动作,需要高分辨率看清细微接触;手掌主要负责托和握,更需要大面积、低成本地感知受力。

最理想的做法,自然是按部位各取所长,但在过去,一只手上用两种传感器,就得配两套触觉模型分别去训,开发和维护成本都要多出一份。

现在,同一个LingBot-Touch就能读懂不同原理的触觉信号,「指尖视触觉+手掌压阻阵列」这样的高性价比组合,终于可以放心装上手、真正用起来了。

目前,蚂蚁灵波已经联合多家机器人本体厂商与行业伙伴,把这套具身大脑能力带进零售药房、仓储物流和工厂产线落地干活。

回头看,大模型能在数字世界爆发,靠的是海量文字和图像可以被统一学习、反复复用。

如今,连最依赖硬件的「手感」都能被预训练、被复用,物理智能终于也有了像语言智能那样越积越厚的可能。

硬件可以百花齐放,智能却能在同一层上不断生长。

机器人真正走进千行百业的拐点,或许就从这里开始。

Source

Phoenix Technology