11月5日,腾讯微信视觉团队在arXiv上传了WeLM-Image的论文。这个模型做的事情,是把过去由三个模型分担的活并到一个基座里:看懂图片、按文字生成图片、按指令修改图片、以及用多张参考图合成一张新图。总参数317亿,但每个目标图块只激活约54亿。论文里反复出现的一句约束,是它必须能跑在单张GPU上,因为要部署在微信这类超大规模消费应用里,等集群排期的方案从一开始就不成立。
图像模型长期的分工是这样的:理解归视觉语言模型,生成归扩散模型,编辑再单独微调一个。三套模型各有各的输入格式与训练目标,串起来能干活,但每一段都要重新编码一遍信息,误差也跟着叠。WeLM-Image的做法是把文本、参考图、目标图块放进同一个交错序列,让模型在一次前向里同时处理。
骨架用的是混合变换器:注意力层共享,理解与生成各自保留独立的参数。这个选择直指一个老问题,两类任务的目标函数不一样,硬塞进一套参数会互相拉扯,表现出来就是一项涨了另一项悄悄掉,而总分看不出来。共享注意力保证两类信息能互相对照,独立参数保证它们不互相污染。两条路径上再挂混合专家模块增加稀疏容量,于是有了"存储317亿、激活54亿"的组合。这个组合的意思很明确:容量按大模型配,成本按小模型付。
论文里占篇幅最多的不是网络结构,而是数据。团队建了一套面向生成的数据引擎,一头是知识驱动的视觉词表,另一头是大规模视觉聚类,前者保证语义覆盖面,后者保证编辑类任务有足够的样本密度。训练期间还会用评测结果反过来指导数据迭代,把表现差的方向补上样本。这个循环听起来简单,实际做起来要解决的是"怎么在训练中途判断哪一类数据不够",而这需要一套稳定的评测口径。
标注是双语的,编辑监督做过核验,训练一路推进到原生1536分辨率。双语这一点对国内应用很关键,因为图像里的文字渲染一直是短板,而中文的字形结构与排版规则与英文差别很大,用英文数据训出来的模型写中文经常出现笔画断裂与位置漂移。原生1536而不是先训低分辨率再放大,也说明团队把"海报、商品图、界面截图"这类需要细节的场景当成了主战场。
生成与编辑这两个能力,在训练目标上其实冲突:生成要求模型自由发挥,编辑要求模型严格守住不该改的部分。团队的处理是先分开优化,用基于评分表与检查清单的奖励分别训练生成策略与编辑策略,各自练到最好,再做噪声感知的在线策略蒸馏,把两个专门化的策略合并回一个模型。
这个流程的代价是工程量,好处是避免了一个常见的退化:直接用混合数据训一个模型,编辑任务上模型容易"顺手美化",把用户没让它改的地方也改了。分开训练再合并,等于先让每个能力各自达标,再解决合并时的相互干扰。论文给出的结果是在PRISM-Bench、Qwen-Image-Bench与UnicBench三个评测上,1536分辨率版本在受评的开源模型中排第一。需要提醒的是,这三个榜单都是团队自己选的口径,排名第一与"实际好用"之间还隔着一段距离。
论文里有一句对照很能说明问题:同一周开源的另一个大型模型,即便用4比特量化,权重仍要占约631.7GB,需要数据中心多机部署。WeLM-Image走的是反方向,它从第一天就向单卡妥协。Turbo版本用少步蒸馏训练,在单张H20上以八步无引导生成一张1024乘1024的图,耗时4.98秒。
这个取向背后是产品逻辑而不是技术炫技。微信这类应用的调用量以亿计,任何需要排队等集群的方案都无法上线;相比之下,一个精度略低但能在单卡上稳定吞吐的模型,才是可以放进生产环境的模型。代价也很清楚:为了压住推理成本,模型必须在容量与速度之间反复取舍,遇到特别复杂的构图或极长的文字,能力上限会比大参数模型低。这是所有面向消费级规模部署的模型共同的宿命,不是这一家的特殊问题。
把理解、生成、编辑三件事收进一个基座,除了论文里的分数,工程上还有几笔账。第一笔是显存,过去要同时部署三个模型,每个都占一份权重,现在只占一份,同样一张卡能承载更多并发。第二笔是调用链路,一张图要先被看懂、再被改写、再被检查,过去是三次跨服务调用,中间要序列化、要传输、要处理超时,现在在一次前向里走完,失败点从三个变成一个。
第三笔账在审核与版本上。内容安全策略过去要按模型分别配置,三个模型三套阈值,改一次要同步三处;合成一个之后,策略只有一套,版本也只有一个。这条好处在论文里不会写,但对真正要上线产品的团队来说,它省掉的是长期的维护成本。代价同样存在:一个模型出问题,三条业务线同时受影响,回滚的粒度变粗了。这也是为什么这类统一基座在落地时,通常还会在外面套一层按任务分流的灰度机制。
截至目前,Hugging Face的论文页上没有挂出对应的模型仓库,也就是说权重尚未发布。对研究者来说,能复现的只有方法;对开发者来说,现在还没法拿它做产品。这个顺序在学术圈很常见,但在开源模型竞争激烈的当下,先发论文后放权重会带来一个现实后果:等权重真正到位时,同类模型可能已经迭代过一轮。
值得观察的有三点。第一是它在真实应用里的表现,论文里的评测都是标准基准,而应用场景里的图片往往是模糊的、带水印的、构图随意的。第二是长尾品类的稳定性,训练数据密集的方向表现好,冷门方向容易出现明显退化,而退化往往只在具体业务里暴露。第三是编辑的可控度,指令编辑最难的不是改对,而是只改该改的地方,这一点很难用分数衡量,只能靠大量真实修改记录去看。