11月13日,星尘智能发布了一个叫CoMind的多机协同框架,副标题是Be My Eye。对应的技术报告在11月9日提交到arXiv,编号2611.12295。它想解决的是一个看起来简单、做起来很难的问题:两台机器人怎么互相帮忙,才不至于越帮越慢。
行业里现有的方案分两类。一类是中心化调度,一个大脑看全局、给每台机器人派活,宏观上很清楚,但在叠被子、抬桌子这类需要毫秒级配合的任务里,层层传令会把协作变成等待,一台动完另一台才动,动作接不上。
另一类是去中心化,每台机器人自己看自己判断,灵活但信息稀薄。一旦目标被遮挡,或者队友背对着自己,协作立刻中断。真实的车间与家庭场景里,遮挡是常态而不是例外,所以这条路在实验室之外很难走通。
星尘的判断是这两种都不对,因为它们共享的东西不对。中心化共享的是指令,去中心化共享的是原始观测,前者太抽象、后者太冗余。中间还有一层没被利用:与当前任务直接相关的那部分观测。
判断的落点在通信。两台机器人之间能传多少,受无线带宽、延迟与丢包限制,这几项在车间里都不稳定。传输一旦成为瓶颈,任何"把所有信息都同步一遍"的设计都会在真实环境里退化,退化之后系统会悄悄变成各自为战,而日志上看起来一切正常。
CoMind的做法分两个阶段。第一阶段是筛选,每台机器人结合自己手上的任务指令,从多路相机画面里挑出与当前操作直接相关的部分,压缩成一段紧凑表征。第二阶段是双向主动共享,两台机器人交换这段表征,各自用它引导自己的视觉语言动作策略输出连续动作。
这个顺序解决了两个问题。筛选降低了带宽,不需要把整路视频传给队友;压缩提高了相关性,队友收到的是"目标在你左前方三十厘米、被盒子挡住下半部分",而不是一整张需要自己找重点的图。
主动这个词也有具体含义。共享不是定时广播,而是由任务状态触发:需要队友配合时才发,发的内容随任务阶段变化。这让通信开销与任务复杂度挂钩,而不是与时间挂钩,对带宽受限的机器人本体是必要的设计。
筛选还带来一个额外好处:它对相机数量不敏感。多装几个视角,冗余的部分会在筛选阶段被压掉,带宽不会随之线性上升。这条对成本有直接影响,因为它意味着可以用便宜的摄像头补视野,而不必升级通信链路。
这套框架在训练上有一个不常见的设计。接收方用收到的表征执行动作之后,动作的结果会反向传回发送方的编码器,用来调整它"该传什么"的判断。也就是说,发送方不是被训练成"描述得准确",而是被训练成"传得有用"。
这个区别很实际。描述得准确,是把看到的都说了,包括队友已经知道的信息;传得有用,是只说自己知道而队友不知道的部分。前者在信息论上冗余,后者才是协作真正需要的。用动作结果做监督信号,等于让系统自己发现哪些信息对完成任务有贡献。
代价是训练复杂度上升。两台机器人的策略要联合训练,反向传播要跨过通信通道,梯度要能穿过压缩与解压这两步。工程上通常要用直通估计之类的技巧来处理不可微的环节,这些细节决定了方法能不能在真机上稳定收敛。
还有一个隐患是投机。如果发送方被优化成"只传能让队友立刻做对动作的信息",它可能学会隐瞒那些当下不影响动作、但影响后续步骤的情况,比如零件已经出现裂纹。这类信息在单步奖励里看不到,却决定了整条产线会不会在十分钟后停线。
最有说服力的是两组极限测试。第一组是隔墙交替取笔:两台Astribot S1分别位于墙的两侧,彼此不可见,轮流担任领队与跟随,覆盖48组颜色与顺序组合。整轮配合的成功率从0提升到100%。
第二组是无视野置物:目标只被队友看见,执行者完全看不到。选对目标的比例从38.9%提升到88.9%,同时每一步传输的视觉词元从160个降到32个,降幅80%。带宽降了,成功率升了,这两件事同时发生,说明此前的通信大部分是无效的。
真机任务还包括纸箱组装,过程中视线被完全遮挡,以及叠被收纳、冰箱补货、哑铃组装。这些任务的共同点是必须两只手配合,且配合的时机比配合的力度更重要,早半秒会撞上,晚半秒会掉下去。
48组颜色与顺序组合这个设计也有讲究。颜色测的是目标识别,顺序测的是时序协调,两者混在一起才能暴露"认对了但抢先后"这类错误。只测颜色或只测顺序,都会把协同问题掩盖成感知问题。
团队给出的下一步是从共享信息走向共享意图。差别在于,共享信息是"我看到什么",共享意图是"我打算做什么"。前者让队友知道现状,后者让队友预判动作,对需要提前让位的任务更有效。
这一步的难点在表示。意图是未来的动作序列,它没有观测那么具体,也没有指令那么抽象,怎么编码、怎么对齐时间尺度、怎么在两台异构本体之间传递,都是开放问题。团队目前只在同构本体上验证了框架,跨本体是下一关。
对产业的意义在于评价标准的变化。过去比的是单台机器人的任务成功率,多机协作要比的是协同成功率、通信开销、以及队友失效时的降级能力。这三个指标直接对应部署成本:通信开销决定要不要布线,降级能力决定一台坏了整条线会不会停。
还有一点值得留意,这套方法的思路可以外推到人与机器之间。如果机器人能给队友传"有用的那部分",它也可以给人传"人需要知道的那部分",比如在手术、装配、救援场景里,把关键状态压缩成一句话而不是一段视频。这条路径比让机器完全自主更容易落地。