不把图像翻译成文字,1.6B参数模型用一条连续的路统一看图与画图

首页 / AI资讯 / 大模型

0:00
0:00
1x
定时

语言是离散的词元序列,视觉是连续的高维像素分布,两者在信息结构上天然错位。过去几年,统一多模态模型基本沿着两条路走:一条把图像也量化成离散词元,和文字拼在一起做自回归;另一条让文字走离散预测、图像走连续扩散,在一个模型里同时维护两套目标函数。两条路都能跑通,但都留了妥协。华中科技大学王兴刚团队与北京交通大学、地平线等机构合作提出的Multimodal Flow,选了第三条:全连续。语言和视觉都留在各自的连续嵌入空间里,只共享一个Flow Matching目标。

两条老路各自丢了什么

全离散路线的代表是Chameleon、Emu3一类工作。它把图像切成块、量化成词元,好处是架构统一,训练和推理都复用语言模型那一套。代价压在视觉分词器上:图像的高频细节在量化过程中容易丢失,细密纹理、小字、边缘过渡这些恰恰是生成质量的分水岭。

混合路线的代表是Transfusion、JanusFlow一类工作。文字仍然走离散预测,图像走连续扩散,避开了量化瓶颈,但模型内部要同时维护两套目标函数和两套采样流程。工程上麻烦,联合优化更难,两个分支还会互相牵制。还有一个隐性成本:调一套超参时,另一套的最优值往往要重找,实验记账变得很难。团队给出的判断很直接:这两条路都不是错,只是都在“把视觉翻译成语言”这个前提上做了让步。全连续要问的是,能不能不翻译。

超块:不翻译,只排顺序

Multimodal Flow的核心设计叫超块。文本按每8个词元切成一块,经过冻结的T5-small编码器变成连续的文本超块;图像经过冻结的SigLIP2编码器,提取16乘16的空间网格特征,变成一个视觉超块。两类超块按任务需要排成一条序列,直接送进共享的Chunk-Causal Flow骨干网络。

注意力掩码是关键。模型在预测第k个超块时,前面的超块完全可见,当前超块内部的位置做联合建模,未来的超块被遮住。这样既保住了因果性,又允许块内充分交互。训练时可以并行预测多个目标超块,每个超块独立采样Flow时间步;推理时按顺序逐块生成,已完成的超块直接复用KV缓存。

这套结构带来一个实用的结果:只要改变超块的排列顺序和目标方向,同一套参数就能切换任务。纯文本生成、文生图、图生文、视觉问答,都可以写成“给定前序超块,生成后续超块”。任务定义和生成建模因此被拆开了。

共享注意力,各自的前馈层

团队在骨干网络里做了一个不常见的组合:注意力层共享,前馈层按模态分开。理由不复杂,注意力负责跨模态的信息交换,共享才能让文字和图像互相对照;前馈层承担的是特征变换,语言和视觉的表示统计差异太大,强行共用反而互相拖累。消融实验也证实了这一点,全共享的版本在这组数据上并不占优。

这个取舍值得单独说一句。统一多模态模型最容易被误解成“所有参数都共用才叫统一”,实际工程里恰恰相反:需要统一的是目标和接口,不需要统一的是各自的表示习惯。Multimodal Flow把统一放在目标函数和序列结构上,把差异留在前馈层,这是一种更省力的统一。从工程角度看,共享注意力的代价是显存与通信上升,分开前馈层只是多了一点参数量,两者的取舍方向并不对称。

1.6B与150B词元,小预算换来的四个数字

团队把主模型命名为MF-1,1.6B参数,从零开始预训练,只消耗150B词元。这个预算放在今天的环境里相当克制,动辄上万亿词元的训练已经是常态。成绩单是:文生图方向GenEval综合得分0.821,DPG-Bench长提示词对齐83.44,GenEval的计数维度0.73;多模态理解方向VQAv2 72.6、MMBench 67.2、POPE 86.1,三项平均75.3。

更有说服力的是迁移实验。随机初始化直接做下游微调,GenEval是0.527;先做混合预训练再微调,升到0.821。SEED-Bench从31.6升到62.4,MMBench从36.0升到67.2。这组对比说明混合预训练学到的联合表示确实能带下去,不是只在一个榜单上好看。团队还训练了0.6B、1.2B、1.6B三个尺寸,损失和困惑度随规模稳定下降,文生图与图生文指标同步上升,扩展趋势是健康的。

VAE潜变量输给语义特征,这条结论比榜单更重要

消融实验里有一处结论容易被忽略:在同样的训练预算下,用SigLIP2、DINOv2这类语义特征做视觉表示,在生成和描述任务上整体好于FLUX.2 VAE、SD-VAE的潜变量,也好于原始像素。面向重建训练的潜变量,在统一生成模型里反而落了下风。

这条结论对做多模态基座的团队有直接参考价值。过去选视觉编码器,默认标准是重建保真度;如果目标是让一个模型同时会看和会画,语义层面的结构信息可能比像素级还原更重要。另一处细节是同一个CFG机制可以双向生效,图生文的最佳引导尺度在3左右,文生图在5左右,一套机制管两个方向。

当然,1.6B和150B词元只是起点。作者在结论里提到,下一步会把框架扩展到更长的交错图文序列、视频和其他结构化模态。全连续这条路能不能撑到那个量级,现在还没有答案,但它至少提供了一个不靠翻译的选项。

素材来源:机器之心、arXiv、网易科技 发布时间:2026-11-09