十一月四日,小鹏集团联合北京大学、香港大学等研究团队发布了具身感知基座模型GroundingPI。约四十亿参数,在三十四项公开感知基准上按十一类能力等权平均,综合得分七十三点六八,同一套题目下GPT-6 Astra是七十一点五四。研究团队同时把权重、代码与论文都放了出来。
先要把比较的范围看清楚。这三十四项基准测的都是感知:物体在哪、有多少个、框得准不准、文字认得对不对、界面元素能不能定位。这些都是窄任务,有明确的正确答案,也有成熟的评分方式。通用大模型在这些题目上并不占优,因为它把容量分摊到了语言、推理、写作、代码等大量方向上。
研究团队同时对比了四十四个基线模型,按十一类能力等权平均计算总分。等权这个细节值得注意:如果按样本数量加权,密集目标检测这类样本多的任务会主导结果,而界面元素、文档版面这些样本少的任务会被淹没。等权意味着团队想让每类能力都被认真对待。
研究团队的判断很直接:物理世界的第一道门槛不是推理,是定位。如果模型连目标在画面的哪个位置都说不准,后面学再多动作知识也落不了地。基于这个判断,他们把资源全押在感知上,参数压到四十亿,换来的是单卡可跑与低延迟。
团队自己也写了一句话作为限定:这次对比只涉及感知基准,不代表对通用智能或推理能力的整体评估。这句话不是客套。它的意思是,这个模型不是来替代通用大模型的,而是来补它们最薄的那一块。
人说话的时候会夹带大量空间指代:桌上左边那个、柜子第二层的、把手朝着你的。人听得懂,因为脑子里有一张空间图。模型要听懂,就必须把语言里的每个指代映射到像素上的具体区域。
GroundingPI的做法是把这类任务统一成坐标输出,用点与边界框表示位置,任务描述写成结构化文本。问它右边那个杯子的把手在哪,它不能只回答图里有杯子,而要给出杯子与把手各自的坐标。这一步看着简单,其实是把语言与视觉对齐的核心动作。
训练覆盖了十一类能力,从通用检测、密集小目标定位、指代表达定位,到文字识别、文档版面理解、界面元素识别、机器人空间定位。密集小目标是最难的一类,一张图里几十个相似物体,每个都要框准,这类能力直接决定它在货架、零件台、药房这类场景里能不能用。
团队还提出了视觉基元的说法,把画面拆成构成它的最小单元,让模型先掌握这些单元再组合。这个思路与语言模型里先学分词再学句法有相似之处,目的是让感知能力可以逐层堆叠,而不是每次都从整图重新理解。
具身智能的数据成本结构很不友好。要教机器人抓取,传统做法是人在真实环境里反复示范,采一条少一条,场景一变又要重来。这类数据带关节角度、带力矩、带时序,采集慢、标注贵、还难复用。
GroundingPI的训练完全不用这类数据,只喂纯感知样本:图片加上目标在哪。这类数据可以从公开数据集、自动标注流水线、甚至网页截图里批量获得,成本比示教低一到两个数量级。
省下来的效果体现在下游。在机器人操作的仿真环境里,用GroundingPI作视觉骨干的系统,只用五成的示教数据就超过了对比模型用七成五数据时的成功率。这个结果的含义是:眼睛看得准,手就不用教那么多遍。对动辄要采上千条示教的团队,这是实打实的成本下降。
这个结论也有前提。仿真环境里的物体、光照、相机参数都可控,示教数据的质量比真实世界干净。真机上的示教往往带噪声、带失败样本,五成对七成五这个比例能否复现,要看具体的任务难度与相机布置。
机器人落地最怕的不是实验室里做不出来,而是换个车间就不行。桌面颜色变了、光照角度变了、物体摆放乱了,模型就开始犯错。这类问题在论文里叫分布外泛化,在产线上叫不可用。
研究团队在另一个仿真环境里设置了四种分布外条件做对比,GroundingPI在四项上都优于对比的主流视觉骨干。原因不难理解:训练数据来源杂、场景多、类别广,模型学到的不是某几个固定场景的特征,而是更通用的空间关系。
但仿真的泛化不等于真机的泛化。仿真里的材质、反光、遮挡都比真实世界干净,接触与形变也被简化。真正的考验是把它装到一台真机上,在一个没见过的车间里连续跑一周。公开材料里还没有这部分数据,这也是判断它成色时最该保留的一分。
分布外泛化这四个字背后是成本。每换一个现场就要重新采数据、重新标、重新训,这条路走不通就没有规模效应。能跨场景直接用的模型,价值不在分数高低,而在省掉多少次现场调试。对做集成的人来说,后者才是能不能接单的关键。
权重与代码都放出来,意味着它可以被当作一个零件嵌进别人的系统。最直接的受益者是做机器人整机与自动驾驶的公司,它们大多有自己的动作策略模型,缺的正是一个稳定、便宜、能本地跑的视觉前端。
第二类是做垂直场景集成的团队。药房抓药、仓库拣货、产线质检,这些场景的共性是目标密集、类别固定、对延迟敏感,用一个四十亿参数的模型在本地跑,比调云端接口更现实。
第三类是研究者。开源一个在三十四项基准上跑通的感知基座,等于给这个方向立了一个可以复现的起点,后来者不必从零搭数据管线。对国产具身智能生态来说,这类基础件的价值往往比再发一个更大的通用模型更高,因为它能被反复使用。
也要提醒一句:感知模型的许可证与商用条款要看清楚。开源不等于随便用,权重能不能进商业产品、能不能二次分发、需不需要署名,各家写法不同。这类细节在选型阶段的优先级不高,等到产品要卖的时候就会变成法务问题。