市面上大多数图像生成模型干活的方式,说穿了像盲人拼图:把画面切成一个个小块,各自算好像素再拼到一起,边缘对不齐、颜色接不上茬的问题时有发生。据科技行者近日报道,商汤发布8B参数的原生统一多模态模型SenseNova-U1.5,用一套与传统管线截然不同的架构思路正面回应这个老大难:不让模型闭眼靠拼图,而是让它用眼睛看着画,从像素到成图全程在一个统一的表征空间里完成。
先看清传统方案的问题出在哪。主流多模态模型里,理解图片和生成图片走的是两条完全不同的路:理解靠视觉编码器,把图像压缩成语义特征,方便模型读懂内容;生成靠VAE变分自编码器,把图像压进一个适合画画的潜在空间再还原。两套系统各自为战,一个专攻看懂,一个专攻画出来,听起来分工明确,代价却是两边之间必须不停做翻译。对开发者而言,双管线架构还意味着更高的训练与部署成本,历史欠账越积越多。
翻译的损耗是实打实的。理解到的语义信息要指导生成,必须先转成生成系统能懂的格式,信息在转换中走样,落到图像上就是细节的失真与结构的错位。而生图阶段逐块计算、再行拼接的机制,让相邻区域彼此不知情,大分辨率下接缝、断裂、局部风格漂移等问题被进一步放大,这也是许多模型一到高分辨率就翻车的原因。高分辨率场景的失败案例最伤用户信心,一张海报导出后接缝明显,基本等于宣判工具不可用,这也是不少设计团队宁可手绘也不肯用AI的原因之一。行业对这套管线的不满积蓄已久,只是牵一发动全身,改架构的门槛极高。
SenseNova-U1.5的解法相当激进:干脆把两道翻译环节都拆掉。它采用MoT混合Transformer架构,理解任务与生成任务用不同参数分别处理,但共享同一套注意力机制;同时做到无需编码器与无需VAE,模型直接从像素和文字的原始信息里学习,看懂与画出使用同一套语言。中间翻译没有了,语义到像素的传递损耗被压到最低,这也是它敢自称原生统一多模态的底气。对研究者来说,这种架构还让训练信号更干净,理解能力的进步可以直接反哺生成质量,两个方向不再各自为战。
针对拼接裂缝,团队引入空间联合重建解码器,让生成过程始终带着全局视角:每个区域的产出都参考整体的空间结构,而不是各自为政。效果上的直接体现是原生4K生成能力,高分辨率不再是切块拼接的勉强放大,而是一次成型。再配合多专家强化学习与在线策略蒸馏,把美学质量、文字渲染、图像编辑等能力统一整合进一个模型,用户不必在画得好与改得准之间来回切换工具。这种架构选择还带来一个隐性好处:模型对图像的理解不再依赖外部编码器的先验偏见,跨任务迁移更顺滑。行业里把这类方案称为原生多模态,强调的就是从预训练起就不分家。
更值得琢磨的是它的身量:8B参数,在动辄数十上百亿的生图模型里属于轻量级。小模型敢挑战高分辨率生图,靠的正是架构红利,表征统一后信息链路变短,重复建设被砍掉,参数利用率随之提高。对商汤而言,这也是一套精明的产品策略:日日新体系里的轻量多模态模型,部署成本低、推理速度快,更容易塞进手机端、边缘设备和客户的私有化环境,把统一架构的技术优势转化为商业化上的灵活性。从算力约束越来越紧的行业环境看,这样的路线选择踩在了时节上。
以小博大的另一层意义在于验证路线。过去两年,扩大参数规模几乎是能力提升的唯一答案,但训练成本与推理开销水涨船高,行业开始认真寻找架构层面的优化空间。商汤这次给出的样本是:把理解与生成缝合成一个整体,本身就能省下大量算力与损耗。部署成本的下降还有乘数效应,同样的预算可以覆盖更多业务线,试验新想法的试错成本随之降低;轻量模型也更容易做量化与端侧适配,隐私敏感的场景同样能跑。如果这条路线在更多任务上被验证,生图模型的竞争维度将从卷参数转向卷架构。
回到用户视角,统一多模态模型改变的是工作流的形态。过去设计师要做一张带字的运营海报,可能要在一个工具里生成底图、到另一个工具里改字、再回生成工具补细节,来回搬运损耗心意;理解与生成同体的模型,可以在一次对话里看懂需求、画出初稿、听懂修改意见、直接在图上精修,创作过程从工具接力变成连续对话。文字渲染、局部编辑、风格统一这些高频痛点,都有机会在同一次交互里解决。
当然,统一路线的成色还需要更大范围的实测检验,8B模型在极端复杂场景下的上限、与顶尖大参数模型的画质差距,都是待验证的课题。对内容平台与电商团队而言,统一模型意味着素材生产、修改、复用可以在一个会话里闭环,人力成本的结构会随之改变。但方向信号已经明确:多模态模型的终局形态,大概率不是一个会画图的聊天机器人,也不是一个会聊天的画图机,而是一套看、想、画融为一体的统一系统。商汤把8B的统一模型摆上台面,也是国产厂商在架构层面的一次正面亮剑,等于给全行业出了一张考卷:架构创新的红利,还能挖多深。