10月30日,澎湃新闻与科创板日报同时报道,由英伟达与麻省理工学院研究人员组成的Efficient-Large-Model团队在Hugging Face放出了视频增强项目Open-H3-Regenerate-2K的模型权重,配套推理代码开在NVlabs/Sana仓库里。它做的事很单一:把低分辨率的视频草稿重新生成为高分辨率视频,支持2560×1440的2K输出,最高能做到3840×2160的原生4K重生成。
视频模型的成本结构由帧数乘步数决定。一次生成4K长片,等于在最高分辨率下跑完整去噪流程,试错三次就是三倍的钱,而观众最后只看到一条。传统工作流里,导演不会一上来就拍70毫米胶片,先用监视器看构图,定了再上正式机位,视频生成正在复制这套流程。
拆成两段之后,第一段在768P上跑,便宜、快、允许反复试错;第二段只对选中的那一条做高分辨率重生成,把所有预算集中在一个版本上。这个分工在过去一年里逐渐成为行业默认,缺的是第二段能不能自己部署,因为官方的高分辨率模块一直只在API后面提供服务。
这次开源补的就是这一块。已经开放权重的H3-Base负责生成768P音视频,官方H3-Regenerate-2K走API;新项目复用基础模型的生成能力,为高分辨率重生成提供了一套可以自己在本地跑的实现。对做私有化部署的团队来说,这是从"能调用"到"能控制"的差别。
方案的技术选择很克制。研究团队保持H3的Transformer主干与视频VAE参数不变,只训练新增的细化LoRA。这样做的直接好处是训练成本低、迭代快,也不会破坏基础模型已有的运动与场景理解能力。
推理时,细化LoRA与社区适配器合并使用,包括LightX2V FL2VA Turbo和LMS Sharp,用三步去噪在目标分辨率下重新生成画面细节。草稿里的场景、布局和运动信息作为条件输入,为整个细化过程提供基础,模型不需要重新想象一遍内容。
三步这个数字值得留意。在4K分辨率上跑完整去噪会被显存和时延同时卡住,把步数压到三步意味着模型主要在做"细节补全"而不是"重新生成"。这也解释了它对草稿质量的依赖:草稿给的结构越准,细化出来的画面越稳。
合并社区适配器这个做法也有讲究。LightX2V的FL2VA Turbo原本是为首尾帧到视频的生成做的加速方案,LMS Sharp是针对锐度的后处理思路,把这两个与细化LoRA拼在一起,等价于在同一个去噪轨迹上叠加了几种不同来源的先验。好处是不用重新训练就能吃到社区已有的优化,代价是不同适配器之间的相互干扰需要逐个试,论文没有给出消融实验的结果。
团队在单张NVIDIA B200、预热后的测试条件下给了一组数字:一段约5秒视频的潜空间放大、三步细化和2K解码合计耗时,从未优化的87.26秒降到22.45秒,约为原来的3.9倍。其中快速解码器把视频解码耗时从约15秒压到约1.6秒。
加速来自三处。一是潜空间放大器,直接在潜在表示上放大,避免在高分辨率下反复解码与编码;二是SoL-Engine的稀疏注意力与低精度计算,降低细化阶段的计算量;三是快速VAE解码器,把最后一步的解码瓶颈拆掉。
这三处的工程含义各不相同。潜空间放大减少的是编解码往返,属于结构性节省,换任何硬件都成立;稀疏注意力与低精度是拿画质换速度,收益取决于内容复杂度,画面越简单省得越多;快速解码器则属于整个流程的公共开销,它被单独拿出来优化,说明团队做过端到端的耗时拆解,清楚钱花在了哪一环。
这组数字的读法是"相对提速"而不是"绝对性能"。87.26秒本身已经是优化过的基线,B200也是当前最贵的卡之一,换成消费级或上一代数据中心卡,绝对值会明显变长。真正可迁移的结论是:把放大放在潜空间做、把解码换成快速版本,这两条在任何硬件上都成立。
团队在RefinerBench-150上做了对比评测,这是专门用来评估视频细化质量的基准。评测关注的是纹理、边缘、文字和小结构的还原度,也就是"给定正确的内容,画得够不够细"。
这类方案的边界必须说清楚。如果草稿里镜头的运动方向错了,或者人物数量少了一个,重生成不会纠正,它只会把错误拍得更清晰。它解决的是分辨率与细节,不解决内容正确性。因此实际工作流里,第二段的输入必须是人工确认过的版本,否则等于给废片做4K修复。
另一个边界是原生与超分的区别。超分是在已有像素上做插值猜细节,重生成是重新跑一遍扩散过程、在条件约束下生成新的像素。后者在复杂纹理上明显更好,代价是它不是确定性的,同一个草稿跑两次会得到细节不同的两条4K视频。对需要严格一致性的影视流程,这一点需要在交付前确认。
开源这件事的意义可能要过一段时间才看得清。当高分辨率重生成不再是某一家API的专属能力,视频生成的竞争重心会从"能不能出4K"转向"草稿值不值钱",也就是分镜、运动与叙事的设计能力。这个转向对工具链上的每一环都有影响。