图里根本没有的东西,它也敢说没有,微信把七种视觉任务塞进一个模型

首页 / AI资讯 / 大模型

0:00
0:00
1x
定时

十一月四日至五日,微信视觉团队开源了WeVisOne-VL,提供二十亿与四十亿参数两个版本。它把目标检测、指代定位、计数、点选、文字识别、分割与抠图放进了同一个视觉语言模型,输出可以是点、框、掩码,也可以是带透明度通道的抠图结果。更特别的是遇到图里并不存在的目标时,它会直接返回一个空答案,而不是硬凑一个框出来。

一个“没有”字,比画得好看更难

视觉模型过去几年的通病是只会答“有”。给它一张桌子,问桌上有没有水杯,它总能圈出点什么,因为训练目标是在图上找目标,找不到时该怎么输出并没有被认真定义。这类错误在演示里不显眼,在业务里很贵:自动标注错了会污染训练集,质检漏判会放过次品,货架盘点会凭空多出一件商品。

WeVisOne-VL把“目标不存在”当成一个需要专门学习的状态,训练时逐条核对那些确实没有目标的样本,同时纠正误框与漏检两类错误,避免模型走向另一个极端,见什么都答没有。按公开评测,四十亿参数版本在指代定位的拒绝基准上给出空答案的比例约百分之八十六,同量级的开源模型只有百分之零点三与百分之一点三。

这组数字的解读要小心。敢拒绝的比例高,只说明它在该拒绝时不硬答,不说明它判断得准;如果模型对一切模糊提问都回空,这个指标反而会更好看。所以要一起看的是误框率与漏检率,两个方向同时收紧才算真的能用。

这类敢不敢说没有的能力,在业务里的价值往往比准确率更直接。自动标注流水线最怕的不是漏标,而是错标:错的标签进了训练集,会在下一轮被当成真值继续强化,偏差越滚越大。一个能返回空答案的模型,至少不会把噪声主动写进数据。

从点到框到掩码,输出粒度是一根连续的尺子

检测给框,分割给掩码,抠图给带透明度的alpha图。这三件事过去由三套模型分别完成,中间靠格式转换接起来,每一次转换都会掉精度,尤其是发丝、纱网、玻璃这类边缘。团队把这些任务统一写成结构化的文本预测,坐标由专用标记还原,需要像素级结果时再触发后面那个小解码器。

这个解码器只有约九百六十万参数,作用是替代外接的分割模型。过去一条常见流水线是检测器加分割大模型加抠图模型,三段级联,显存占三份,延迟叠三次。把最后一公里收进同一个模型,工程上省的是部署复杂度与调用成本。

粒度可切换带来的实际好处在标注环节。同一张图,先要框做检索,再要掩码做训练,最后要透明底做素材,过去要跑三遍,现在换提示词就行。对做数据的人来说,省下的不只是几次点击,还有三套结果之间对不齐的核对工作。

反过来的代价是耦合。多个任务共用一套权重,任何一类的数据出现偏差,都可能牵连其他几类的表现。这也是多任务模型最常见的退化方式:某项指标涨了,另一项悄悄掉了,而评测只看总分时很难发现。

一亿张图、三十六亿个框,数据是怎么长出来的

模型能力的上限往往由数据决定,而这类数据最难的是目标级与像素级同时标注。团队的做法是用知识图谱按类别与指代表达去定向采集,先用检测器出候选框,再用视觉语言模型交叉验证真假,把框扩展成掩码,最后生成连续的透明度候选。每一步都有量化门槛,比如交并比、覆盖率、前景精度,达不到就退回。

通过筛选的样本里还有一部分要人工抽查,模型犯的错会回流进下一轮筛选规则。这套闭环累计处理超过一亿张图片、约三十六亿个目标框,规模已经超过多数公开数据集。它同时也是这个模型最不容易被复制的部分:权重可以下载,喂出权重的那条流水线不行。

值得留意的是闭环里的自我强化风险。用模型筛出来的数据再训练模型,容易把原有偏差固化,尤其是长尾类别。公开材料没有说明长尾样本的占比与人工抽查比例,这两项决定了它在冷门品类上的实际表现,也是使用者上手前该自己测的部分。

四十亿参数的位置:不做通用,做专用

四十亿参数在今天不算大。放在通用对话的场景里,这个体量很难兼顾推理与知识;放在看图找东西这种窄而深的任务上,它反而够用,还能在单张消费级显卡上跑起来。这是一个明确的取舍:放弃通用性,换部署成本与响应速度。

这个取舍在产业上有现实意义。大量视觉任务跑在边缘设备上,产线相机、门店摄像头、巡检机器人,这些地方放不下千亿参数的模型,也没有稳定网络去调云端接口。能在本地跑、能离线跑,本身就是需求。

但窄任务模型的天花板也清楚。它不会因为看图准就顺带会推理,遇到需要常识判断的问题仍然要靠上层模型。合理的分工是让它做眼睛,把位置与边界交给它,让更大的模型去判断这堆东西说明了什么。这条分工线目前还在移动,切分位置取决于具体业务的容错空间。

开源权重在这里提供了另一种可能:使用者可以只取它的一部分,把检测输出接到自己的管线里,把用不上的任务整个丢掉。四十亿参数裁掉一半仍然能跑,这种灵活性是调用云端接口换不来的,也是本地部署最被低估的好处。

开源之后,先测这三件事

权重、代码、技术报告、评测流程与标注工具都以宽松许可放了出来,网页上也能直接试。对打算接入的团队,有三件事比看榜单更值得先做。

第一是测自己的品类。公开基准的类别分布与业务分布往往差得远,冷门零件、特殊材质、遮挡严重的场景,都要单独跑一批。第二是测拒绝的边界,故意给一些相似但不存在的目标,看它会不会乱指。第三是测输出稳定性,同一张图换个说法问两遍,看位置偏多少。

还有一件常被忽略的事:抠图的评价没有统一标准。边缘准不准、半透明区域对不对,最终还是要靠人眼看,尤其在换背景、合成、电商主图这些下游环节。模型给的分数只能做初筛,能不能进流程要看返工率。这也解释了为什么这类工具真正的门槛不在模型,而在接入之后的那套验收规矩。

接入方式也有取舍。网页演示适合试手感,本地部署适合跑批量。真正上生产的团队多半会两者都用:先用演示确认能力边界,再把权重拉到内网跑全量。这一步的分界线通常是数据能不能出内网,而不是模型够不够好。

素材来源:腾讯研究院、AI工具集、微信视觉团队 发布时间:2026-11-06