11月10日,蚂蚁灵波科技开源了触觉基础模型LingBot-Touch。它做的事可以用一句话概括:把不同原理的触觉传感器输出,翻译成同一套模型能读的表示。预训练用的是近5000小时真实触觉数据,覆盖磁触觉、视触觉与压阻式三条主流技术路线。
这套模型已经接到自家的LingBot-VLA上,把感知能力从"看清在哪"延伸到"摸到多用力"。官方给它的定位是传感器与动作模型之间的一层通用能力,不绑定特定硬件,也不绑定特定策略。技术报告、模型与代码已在Hugging Face、GitHub与魔搭社区开源。
验证方式是这一轮最硬的部分。团队在Sharpa Wave与XHand1两款灵巧手上做了26项真机测试,任务包括翻书页、拧瓶盖、辨识麻将牌这类需要指尖微调的精细操作。测试对象不是自研模型一家,而是四种动作模型全部接入同一套触觉表示。
结果是四种动作模型的平均任务成功率,相比没有触觉输入时提高约14到26个百分点。这个区间值得注意,它跨模型成立,说明提升来自输入信息本身,而不是某一套策略的调参。如果只是自研模型涨分,可以解释成工程配套做得好;四种一起涨,只能解释成信息量变了。
单个任务的对比更有说服力。T-Rex控制Sharpa Wave拧瓶盖,不使用触觉时成功率56.25%,直接输入传感器原始信号是62.5%,接入LingBot-Touch的触觉表示之后达到90%。原始信号只带来6个多点,统一的触觉表示把差距拉到33个点,中间的差额就是"会不会读"的价值。
拧瓶盖的前半段视觉能搞定。深度信息足够让手指对准盖沿,手掌旋转的方向也能从画面推出来。问题出在开始转动之后:瓶盖可能已经松动,也可能指腹正沿着盖壁打滑,这两种情况在画面里几乎一样,需要的动作调整却完全相反。
这时候唯一能区分的信息是接触位置、受力大小与受力随时间的变化,而这些恰好被手指和物体本身挡住。视觉看不到的地方,触觉是唯一的信息源。这不是精度问题,是物理遮挡带来的信息缺失,再高的分辨率也补不上。
同类场景在工业与生活里成片存在。插接件要感受卡扣到位的那一下,叠衣服要判断布料的摩擦,端杯子要知道装了几分满。这些动作人类做得毫不费力,是因为指腹上有几十万个机械感受器,机器人过去只有摄像头和一个开关量的夹爪。
跨传感器是这个模型真正的难点。同样是"摸到",视触觉给的是图像,磁触觉给的是磁场变化,压阻式给的是电阻值,三者的数据形态完全不同。如果模型只学会读其中一种,换一只灵巧手就得重新采数据、重新训练。
做法是按传感原理分别设置编码入口,先把各自的原始信号处理成中间表示,再把不同布局的触点映射到统一的指尖坐标空间。共享的那部分模型学的是接触位置、受力大小以及它们随时间的变化,最后输出统一的触觉词元,供下游动作模型取用。
这个设计顺带解决了一个数据问题。人戴触觉手套采的数据与遥操作灵巧手采的数据,过去因为传感器不同而无法混用,现在可以一起进训练集。数据量本来就是具身智能最紧的瓶颈,能合并两个来源,等于把可用的数据翻了一倍。
端侧算力是没法回避的约束。灵巧手的控制板不可能塞进一个大模型,推理延迟也直接决定动作能不能闭环。所以这次提供了两个容量版本,26项真机测试全部用约530万参数的轻量版LingBot-Touch-Tiny完成。
接入之后的参数增量是0.13%到0.16%,对应LingBot-VLA、π0.5与T-Rex三套动作模型。这个量级意味着接入成本几乎可以忽略,不需要为了触觉去重构控制栈,也不必更换主控。对一个已经在跑的机器人产品,这一点比涨分更重要,因为它决定了能不能改。
大版本的信号也放出来了。容量更大的LingBot-Touch-Small在感知测试中表现更好,而且当预训练数据增加到近5000小时时,模型仍能从新增数据里获益。这句话的意思是触觉预训练还没有撞到天花板,继续加数据还能涨,这在具身领域并不常见。
最能说明泛化能力的是XHand1那组实验。这只手用的磁触觉传感器型号不在预训练数据里,模型学到的磁触觉经验全部来自人戴手套采集的数据。换成这只手之后,LingBot-Touch的参数保持不变,只用XHand1的操作示范去训练动作模型。
结果这只手也能用。这条路径的意义在于把"触觉能力"和"硬件"解耦了:整机厂换一只更便宜的灵巧手,不必重新采几千小时触觉数据,只需要重训动作策略。对一个正在压成本的行业,这等于把换硬件的沉没成本砍掉一大块。
限制也要说清楚。26项测试由厂商自己设计与执行,任务数量有限,场景集中在桌面级精细操作,还没有涉及重载、高温、油污这类工业环境。跨硬件复用的样本也只有一款手、一种传感器,泛化能力到底有多宽,需要第三方在不同本体上重复验证。
第一类是需要快速做出差异化的整机厂。人形机器人的本体与关节已经高度同质,能拉开差距的是手部操作,而手部操作的瓶颈就在触觉。开源模型把入场门槛从"自建几千小时数据集"降到"接一层表示",这对中小团队是实质性的利好。
第二类是做灵巧手与传感器的厂商。模型按传感原理分入口的设计,意味着新原理接入有明确的扩展位置,传感器厂商可以拿它做自证:我的数据能不能被通用模型读懂。这比在规格表上写分辨率与量程有说服力得多。
第三类是数据采集服务商。人戴手套采的数据与遥操作采的数据可以共用,等于给数据生意多开了一个买家市场。真正的竞争会从"谁有数据"转向"谁的数据能被通用模型吃下去",这需要标注规范与质量控制,而不是单纯堆时长。