正文 · 原文
信息少传80%,准确率反而提高
杰西卡 发自 ROBO-智
量子位ROBO | 公众号 AI4ROBO
杰西卡 发自 ROBO-智
量子位ROBO | 公众号 AI4ROBO
机器人组队干活,最怕啥?
心不齐。
两个人一起叠被子、搬桌子尚且还需要眼神配合,更别说几个机器人碰在一起:
这一台刚抓住桌角,那一台就准备抬起来;一方视线被遮挡,连队友进行到了哪一步都不知道……机器人合作起来通常更让人抓狂。
更麻烦的还是 机器人之间的交流 。
让中心系统统一调度?精细动作的配合容易慢半拍;把摄像头拍到的画面全部发给队友?又会产生大量冗余数据,增加通信和处理负担。
针对这个问题,深圳具身智能公司 星尘智能 ,刚刚发布了一套 多机协同框架CoMind(Be My Eye) 。
这家公司此前以绳驱机器人和自研具身智能模型受到关注,这次则把研究重点放到了多台机器人之间,让它们主动交换任务关键信息,独立完成动作决策,实现更紧密的协作。
直接看极限测试的数据:
两台机器人隔着挡板,彼此完全看不见,却可以通过共享关键信息配合拿笔, 任务成功率从0%直接提升到100% 。
被挡住视线的机器人靠队友借眼找盒子放东西,准确率从靠盲猜的38.9%冲到88.9%。关键是,整个过程的 信息传输量直接砍掉了80% 。
信息传得更少,怎么机器人反倒配合得更好了?!
星尘智能刚刚推出的 CoMind ,是一套 面向多机器人协同操作的模型框架 ,核心目标是让机器人在独立决策的同时,主动交换对任务有用的信息。
星尘将这套框架的核心能力归纳为两点: 去中心化的主动共享,以及任务关键信息的精选与压缩。
前者让每台机器人都能主动向队友提供信息,并结合接收到的上下文独立生成动作,减少对统一中心控制器的依赖。
后者则改变了信息交换的方式。机器人无需传递完整的摄像头画面,而会根据任务需求提取关键视觉特征和操作状态,帮助队友判断下一步动作。
简单来说, 机器人既能自己拿主意,也知道该告诉队友什么。
星尘智能为此展示了六项真机测试,包括 隔墙拿笔、盲盒置物、纸箱组装、叠被收纳、冰箱补货和哑铃组装* (真机视频可以参考文末链接)*。
六项实验覆盖视觉遮挡、柔性物体操作、精密装配等不同类型的协作难题。
这里以 两台机器人一起组装纸箱 为例。
看似简单的任务,实际需要双方共同撑开、翻转箱体,并不断调整抓取位置。纸箱翻转时还会遮挡视线,让机器人无法直接观察队友的操作。
而借助CoMind,两台机器人可以交换操作状态和任务进度,在视线受阻的情况下继续完成装配。
叠被子 就更复杂了。被子柔软且容易形变,机器人提起、翻折和搬动时,形状、边缘以及受力状态都在持续变化。
要让两台机器人配合完成任务,双方不仅需要控制各自的动作,还得根据队友的操作实时调整。
演示中,两台机器人连续完成了提起、翻折、收纳等操作,全程无需人类逐步下达指令。
还有 哑铃组装 。一台机器人负责将哑铃片穿入杆中,但受限于自身视角,很难同时看清杆与孔位的相对位置。
另一台机器人则通过不同视角,提供关键空间信息,帮助队友动态调整动作,完成对准和装配。
再看这个 冰箱补货 ,展示的是不同位置之间的信息互补。
一台机器人发现冰箱里缺少饮料,另一台机器人能够看到岛台上的饮料。双方交换视觉信息,再配合完成递送和补货。
几项实验背后,其实涉及两种不同的协作能力。
一方面是 感知互补 ,让机器人借助队友的视角,获取自身无法观察的信息;另一方面是 动作协同 ,让机器人在持续操作过程中,利用队友的状态和进度调整自身行为。
后者尤为重要。因为两台机器人分别具备搬运、抓取、折叠的能力,不代表组合起来就能顺利完成任务。
共同搬运物体时,一方的动作会直接影响另一方的操作条件;组装复杂零件时,双方还需要不断根据物体状态调整姿态。
单机操作可以实现独立决策,协作任务则需要机器人持续理解彼此的行动。
让机器人各自做好手头的事,只是第一步;让它们知道队友此刻需要什么,才是协作的关键。
CoMind的两项核心能力,分别对应着多机器人协作中的两个现实难题: 如何协调决策 ,以及 如何高效交换信息 。
传统的多机器人协作,一种常见方式是 中心化调度 ,由统一的控制系统分配任务、规划行动,再向各台机器人下达指令。
这种方案适合明确的任务分工,但面对需要频繁调整的精细操作,集中处理多台机器人的感知与控制信息,容易带来额外的计算和通信开销。
另一类方案采用 分布式决策 ,让机器人独立完成感知和动作控制。
这种方式降低了对中心系统的依赖,但每台机器人掌握的信息有限。
一旦目标或队友被遮挡,便可能失去关键的决策依据。即使允许机器人相互通信,也需要解决信息传递的问题。
机器人每秒可能产生大量视觉数据,但其中真正与队友动作有关的,通常只有很小一部分。
例如组装哑铃,负责穿入哑铃片的机器人,需要知道杆与孔位之间的相对位置。周围的家具、墙面和其他物体,对当前操作并没有直接帮助。
如果把完整视频传给队友,不仅增加通信负担,还需要接收方重新从海量数据中提取有用信息。
CoMind的技术设计,正是围绕 信息提取与协同决策 展开。具体来说,它分为两个阶段:
第一阶段是 任务相关上下文提取 。
CoMind通过上下文编码器,从多路摄像头观测中筛选、压缩关键信息,保留对当前任务和后续动作有价值的视觉特征。
模型还会学习预测未来的视觉变化,并结合任务进度,让机器人理解操作所处的阶段。
第二阶段是 双向共享与协同动作生成 。
两台机器人均可以独立提取、发送关键信息,也可以接收队友传来的上下文。
接收方将共享信息与自身视觉观测、任务指令及本体状态结合,再输入视觉—语言—动作模型(VLA),生成连续动作。
双方均具备信息发送与动作决策能力,不再依赖同一个中心控制器生成全部操作指令。
整个框架还有一项关键设计: 动作级反向传播 。
简单理解,就是让队友的动作结果,反过来决定自己应该提供什么信息。
以 盲盒置物 实验为例。机器人A看不见目标,需要机器人B提供信息。
如果A最终伸错位置,训练过程中,动作预测误差就可以反向传递至B的信息编码器,帮助模型调整对关键特征的提取方式。
反复训练之后,B会更倾向于提供有助于A完成正确动作的信息。
由此,信息共享与最终动作之间建立了直接联系。机器人交流的目标,不再局限于准确描述周围环境,还需要服务于队友的操作决策。
实验数据也反映了这种变化。在盲盒置物任务中,不共享信息的准确率为 38.9% ;采用另一种上下文传输方案后,准确率达到72.2%。
CoMind进一步将准确率提高至 88.9% ,同时将通信信息量减少约 80% 。
让机器人拥有更多信息,并不必然带来更好的协作。信息与任务之间的关联,才真正决定它能发挥什么作用。
多机器人协作 ,如今正在成为具身智能领域的重要研究方向。
随着VLA等模型不断进化,机器人理解环境、执行指令和完成复杂操作的能力持续提高。
但现实中的大量工作,本身就需要 多个执行主体 共同完成。
比如搬运大型物体、组装复杂设备、处理连续的生产流程,都涉及不同位置、不同动作之间的协调。单台机器人再聪明,也受到 自身视野、机械结构和操作范围 的限制。
因此,越来越多研究团队,将注意力投向了多机器人之间的协作机制。
例如, 斯坦福大学团队 在2026年提出 CHORUS ,尝试让不同机器人使用同一套VLA策略,在 各自独立感知的条件下实现协作 。
CHORUS并不要求机器人在运行时显式通信。每台机器人根据自己的视觉观测和共享的策略独立生成动作,通过观察队友的行为形成配合。
研究展示了共同抬起洗衣篮、传递图书等任务。
2025年发表的 LatentToM ,采用的是另一条技术路线。
研究人员让不同机器人学习共享的潜在表征,以建立对任务状态和队友行为的共同理解,并支持通过通信交换紧凑的表征,实现协作操作。
2026年10月公开的 DuoMind ,则通过视觉语言模型进行高层任务推理和语义通信,由VLA模型负责底层动作执行,探索不同机器人之间的分布式协同。
三项研究分别展示了不同思路: 通过共同策略形成默契,通过潜在表征建立共识,或者通过语义信息组织行动 。
而星尘智能CoMind所关注的,是另一个更靠近动作层的问题: 如何让机器人共享的信息,直接改善队友的动作决策。
它将任务相关的视觉信息提取、双向共享和动作策略联合优化,使通信内容与最终操作结果建立联系。
这条研究方向,也与星尘智能此前的技术积累有关。
星尘智能成立于2022年底,创始人兼CEO 来杰 ,曾经是 腾讯Robotics X实验室架构师 ,也是该实验室早期核心成员。此前他还负责过百度小度机器人相关的研发工作。
这家公司选择了相对少见的绳驱技术路线,先后推出Astribot S1、T1等机器人产品,并围绕 AI模型、具身操作系统和绳驱本体 建立软硬件一体化技术体系。
模型层面,星尘智能此前推出了 Lumo系列具身基座模型 。
今年7月发布的 Lumo-2 ,已将人机协同、多机器人协作纳入能力展示。此次CoMind则把研究进一步深入到机器人之间的信息交换与动作决策。
由单机操作延伸到多机协作,星尘的技术路线也体现了整个行业正在面对的新课题。
无论工业装配、仓储搬运还是家庭服务,机器人都很难始终拥有完整的环境信息,也无法独自承担所有操作。
不同位置上的机器人,天然掌握着不同的视角;不同任务环节之间,又存在紧密的动作依赖。这些分散的信息能不能有效流动,直接决定整个系统的效率。
于是,协作不再局限于任务分配、路径规划和动作协调。机器人还需要理解队友的信息需求,并据此调整自身的感知与通信行为。到了真机上,这种能力直接决定任务成败。
协作,正从工程师写下的规则,变成模型在训练中习得的能力。
人类通过分工协作,将个体有限的能力组织起来,形成复杂的社会生产体系。如今,这一规律也融入到了机器人的逻辑中。
技术报告地址:www.astribot.com/AI/CoMind