10月30日,蚂蚁集团旗下的inclusionAI与西湖大学、清华大学、浙江大学、上海创智学院、穆罕默德·本·扎耶德人工智能大学联合发布的论文上线,题目叫Intrinsic Distribution Matching,简称IDM。它要解决的问题很具体:一步或两步生成的文生图模型,怎么把提示词里那行字画对。代码已放在GitHub的inclusionAI仓库,论文当天登上Hugging Face日榜前列。
扩散与流匹配模型的推理账单几乎全压在网络评估次数上。把去噪步数从几十步压到一两步,延迟和成本会成倍下降,代价是几乎没有修正机会,提示词里指定的每个细节都得在那一次前向里落对位置。
文字是最先崩的部分。海报上的中文标题、菜单上的价格、书封上的作者名,既要排得整齐,又要逐字正确。步数一少,模型容易把字写成形似的符号,笔画看着像,读出来不对。这个问题在英文上表现为拼写错误,在中文上更严重,因为汉字的结构相似度更高,错一笔还是像字。
还有一个常被低估的难点是版式。长文本不是把字堆上去就算完成,它要求模型理解区块、对齐、层级与留白,本质上是把排版规则也塞进那一次前向。研究者把这类任务单独做成基准,中文侧的LongText-Bench就是为此建的,考核的是整段文字的字符准确率而不是整图相似度。
行业里常见的补法是加外挂。在分布匹配蒸馏的基础上,再挂一个DINOv2特征编码器或一个对抗判别器,用外部特征来锚定生成分布。这套方案能提分,但会带来额外显存、额外工程复杂度,也多了一处训练不稳定的来源。
IDM的思路是把反向KL场拆成两部分:高斯矩分量与非高斯残差。残差部分由原有的分布匹配修正处理,矩分量则用显式约束去匹配特征均值与逐坐标标准差。关键在于特征从哪里来。
论文给出的答案是生成器自己的指数移动平均副本。这个副本本来就存在,训练时用于稳定采样,没有额外参数,也不需要单独加载一个视觉编码器。作者的原话是保留完整的DMD修正,同时用生成器的EMA副本匹配特征均值与逐坐标标准差,全程不需要外部特征编码器。
消融实验是这篇论文最有说服力的部分,全部在Z-Image全参微调、两次网络评估的同一配置下跑。不加分布匹配也不加矩损失,OneIG是52.25、GenEval是76.24、中文长文本92.70;只加内部DMD不加矩损失,三项变成52.87、77.46、93.87;换成DINOv2特征做矩匹配,53.00、77.75、94.13;用生成器EMA特征,53.06、77.81、94.25。
这组数字说明两件事。矩约束本身确实有增益,加上去比不加好;而用什么特征来约束矩,比要不要约束更影响结果。生成器自己的表征已经足够,外接一个编码器并没有带来不可替代的信息。
主结果在Z-Image-Turbo 6B上,两次网络评估下中文长文本准确率94.25%,英文90.20%,是同一预算下对比方法里的最高分。同一张表里,Z-Image-Turbo++是91.62与89.88,APEX是90.38与88.76,换算成百分点分别领先2.63与0.32、3.87与1.44。换到Qwen-Image 20B、同样两次评估,GenEval报91分,FID报6.34。
论文自己写了两处不利结果,这一点值得记下来。其一,八次网络评估的Z-Image-Turbo在英文长文本上仍是91.74,比IDM的90.20更高,说明英文侧还没有完全追平多步版本。其二,APEX在DPG-Bench上是88.64,高于IDM的86.82,美学与复杂语义这一项并没有一起领先。
作者也提示,公开的参照模型训练设置与数据不同,只有同一配置下的消融才真正可比。换句话说,94.25这个数字应该被理解为同预算同配置下的相对领先,而不是全面超越多步模型。
速度数据可以给落地一个参照。全参的Z-Image在单张A100上用BF16推理,一次网络评估0.25秒,两次0.30秒。这个量级意味着,海报批量出图、电商主图改版这类需要一次生成几十上百张的场景,成本结构已经和调用一次通用接口差不多了。
省掉的编码器不只是省显存。多挂一个特征网络,训练时就要维护两套前向、两套梯度尺度,学得动学不动经常要靠调权重去凑。把它去掉之后,需要调的部件少了一个,复现的方差也小一些。对做蒸馏的小团队来说,这一点的实际价值可能超过那几个百分点。
需要留一手的是评测覆盖。论文主战场是长文本基准,考的是逐字准确与排版,真实场景里的审美、风格一致性、多物体关系并没有被这几张表覆盖。拿它做商业素材之前,还是得在自己的提示词集上跑一遍,尤其是中文竖排、艺术字、复杂背景这几种最容易翻车的情况。