视频世界模型有一个共同的毛病:镜头一转过去再转回来,身后的东西就变了样。窗帘换了个颜色,桌上的杯子挪了位置,刚才改过的地方悄悄恢复原状。这篇挂在上周arXiv上的论文给了一个不同的解法:不要把世界存在生成器里,把它拿出来,存成一份可以被读写的全景图,再让多模态大模型去改它。论文编号2611.24193,作者来自微软等机构。
现有做法的共同点是把世界状态放在生成器的上下文里。每一帧都由模型根据前几帧和提示词推出来,世界是什么样,取决于模型的隐状态记住了多少。上下文一长,记忆就开始衰减;镜头离开一块区域再回来,那块区域只能被重新生成,于是出现漂移。
这个问题的本质不是分辨率或参数量,而是存储位置。把世界记在一个会不断被覆盖的隐状态里,任何长度的序列都会丢东西。加大模型只能延长记忆的半衰期,不能改变"记在会被覆盖的地方"这个结构缺陷。这也是为什么很多演示在前三十秒很惊艳,到两分钟就开始变形。
更麻烦的是编辑。用户改了一处,模型并不真的知道"这处已经改过",下一帧重新生成时,改动可能被覆盖,也可能扩散到邻近区域。对于需要反复调整的创作场景,这意味着每一轮修改都在和遗忘赛跑,改到第五轮时画面已经和最初不是同一个世界。
这个问题在商业上的代价很具体。做虚拟场景预览的团队,最怕客户在第十轮才说"把窗改到另一边",因为前面九轮的改动可能全要重做;做机器人仿真训练的团队,需要同一个场景在成千上万次采集中保持一致,世界一漂移,训练数据就不可比。两种场景要的都不是更漂亮的画面,而是一个能记住、能改、能回滚的环境。
WM^MLLM的做法是把世界状态外置:用一张全景图作为世界本体,再给它配一份修订历史。多模态大模型不直接画像素,它做三件事,把用户的每个请求翻译成对这份状态的读写操作,判断局部编辑应该写在哪一块区域,以及在候选结果变成下一个状态之前做一次检查。图像生成器只负责根据当前状态提出某个视角的画面,视频只负责把这些画面呈现出来。
这个分工带来一个直接好处:可回溯。同一个修订版本下重访某个视角,画面能精确复现,因为它本来就是从同一份状态里渲染出来的,不依赖模型的记忆。局部编辑只改动指定区域,区域之外的全景像素保持不变,改动被记进历史,随时可以退回上一版。
用户能做的操作也随之扩展。可以走到新地方再走回来,可以用文本或框选改某个物体,可以往场景里放主体,可以改光照、天气与季节。这些操作在传统视频世界模型里都要靠重新生成整段,在这里变成了对状态的一次写入,代价小得多。多出来的工程复杂度是双向的:既要维护一份可读写的世界表示,又要保证生成器每次提出的视角与这份表示严格对齐,任何一方的偏差都会表现为画面与状态不一致。
论文在MBench-A上与六个世界模型基线做了对比。四项环境恢复指标的均值它都是最高的,其中对极几何一致性这一项拿到91.5,而基线的区间是0.1到74.0。另一个指标是相机往返完成率,它做到85.3%,基线最高不超过50.9%。
这两个数字量的其实是同一件事:走一圈回来还能不能对上。对极几何一致性衡量的是不同视角之间的几何约束是否自洽,往返完成率衡量的是模型能不能真的把镜头带回原点并保持场景不变。前者是静态校验,后者是动态过程,两个都高,说明状态外置这套结构确实解决了"记不住"。
在CompBench的15个评价列上,它对15个基线全部取得最优值。这组结果说明外置状态没有牺牲生成质量:把画面交给生成器、把结构交给状态,反而让两边都能专注。需要注意的是这些都是论文自报结果,评测集与基线配置由作者选定,第三方复现之前只能当作方向性证据。
还要看它没测什么。这类评测几乎都是静态场景与短距离漫游,很少涉及大量动态物体、复杂光照变化与多人交互。真实的三维内容里,风吹窗帘、水面反射、人物穿行都会让状态更新变得频繁,写入冲突的概率随之上升。论文给出的机制能处理这些情况,但没有给出对应数据,这是后续复现时最该补的一块。
论文里最有实操价值的一组实验是关于局部编辑的。112次盲评显示,如果让模型先自由生成再看改哪里,编辑完成率是34.8%;如果先生成、再由模型判断应该把编辑写进哪块区域,完成率升到83.0%。同一批模型、同一批指令,差别只在一个决策顺序。
这条结论可以迁移到很多工程场景。让模型同时决定"改什么"和"改哪里",两个任务会互相干扰;把区域选择拆成一个独立的、可校验的步骤,准确率会有量级提升。这也解释了为什么很多图像编辑工具改一处动全身:它没有把"改哪里"当成一个需要单独判断的问题。
另外两组数据支撑了可逆性。在258个测试项上,46次重访全部恢复了此前的视角;97次通过校验的局部编辑,全部保持了区域外像素不变。对做三维内容生产的人来说,这两条比任何画质分数都重要,因为它们意味着可以反复修改而不用重做,工作流才真正成立。
把这篇论文放回行业里看,它给出的不是更强的生成器,而是另一种组织方式:状态归状态,渲染归渲染,判断归大模型。这条路线的代价是系统变复杂,需要维护一份可读写的世界表示,还要保证生成器与状态对齐;收益是可控、可回滚、可协作。对消费级产品,复杂度可能不划算;对需要长期迭代的三维内容与仿真训练,这套结构值得认真对待。