港科大让世界模型第一次听见声音,一张图走进去连水流方向都听得出

首页 / AI资讯 / AI建模

0:00
0:00
1x
定时

过去两年,世界模型的竞赛集中在画面上:谁能用一张图生成更清晰、更连贯、可探索的三维场景。但没有一个模型能让你听见它。10月下旬,Noiz AI与香港科技大学发布的Helix World补上了这一块,它不是给视频配一条音轨,而是在生成每一小段画面的同时生成与之匹配的立体声,声音的方向锁在场景里,也锁在相机上。

一张图进去,1.3秒一段地长出一个能走的空间

使用方式很直接:给一张起始图,用WASD移动相机,用方向键转头,模型生成下一段约1.3秒的画面,同时输出对应的双声道音频。走到喷泉边水声会变大,转过头声音跟着转,声场与视角是同一套坐标。这种"边生成边响应"的交互方式,与传统视频模型先渲染再播放的流程完全不同,它要求模型在极短的时间窗内完成推理,并且保持跨片段的场景一致性。

从公开信息看,Helix World建立在开源音视频模型LTX-2.3之上,团队加入了六自由度相机控制与键盘动作条件,再把整个系统蒸馏成少步的因果学生模型,从而能按块流式输出,而不是一次渲染整段视频。训练数据约3000小时筛选过的素材、210万个片段,音频为48kHz立体声。

这套流程里最难处理的其实不是画面,而是记忆。每生成1.3秒,场景就往前推进一点,如果模型对刚才走过的地方没有留存,转过头就会出现墙位置漂移、门消失这类破绽。因果流式结构的好处是每一块只依赖历史,不必重算全局,代价是必须靠额外的状态压缩把走过的空间记住。团队没有公开这部分的具体实现,但从长时间交互不崩坏这一点看,他们在这方面做了不少工作。

0.77的实时因子,意味着它跑得比播得快

性能数据是这类模型最硬的门槛。官方给出的结果是单张英伟达H800上达到24帧每秒,实时因子0.77,且已包含解码开销。实时因子小于1,意味着生成速度快于播放速度,理论上可以支撑连续交互。对照来看,纯画面模型的实时因子往往更高,代价是延迟与卡顿。

需要说明的是硬件。H800是数据中心卡,不是消费级显卡,公开的预览权重输出分辨率为768×512,画质明显低于当前主流视频模型。团队自己也没有回避这一点,他们把这类取舍摆在了台面上:用一点视觉精细度,换取实时性与原生声音。

这个取舍在商业上有明确的指向。做影视级输出的团队不会为0.77的实时因子买单,他们要的是分辨率和镜头可控性;但对做交互式体验的团队,能不能跟上用户的手速是一票否决项。24帧几乎贴着人眼对连贯性的下限,再低一个档,转头时就会明显感到拖影。而实时因子从1.2降到0.77,意味着同一张卡上从"勉强跟上"变成"还有余量做声音",这个余量正是这个项目能成立的前提。

把声音当一等公民,而不是后期贴上去

绝大多数所谓的世界模型是无声的,少数会给画面配一条音轨,但那条音轨与画面里的空间关系是脱钩的。Helix World把音频作为原生输出,与画面在同一步生成,这在工程上难度高得多:模型必须同时理解物体的材质与位置,才能判断脚步声该在哪个方向、混响该有多长。

为了量化这件事,团队发布了HelixBench,一个包含1015个人工核验案例、覆盖六个领域的音视频基准。在空间声学一致性这一项上,Helix World拿到41.8分,唯一同样生成声音的对手EchoWM只有12.6分。这个差距比画质差距更能说明问题:会出声和出对声,是两件事。

之所以难,是因为声音的空间线索依赖几何。一个房间的混响时间由体积和墙面材质决定,一个人走过走廊,脚步声的远近变化要和他与相机的距离同步。这些量在纯画面生成里根本不存在,模型必须隐式地从图像里推断出房间有多大、地面是木地板还是瓷砖、墙是硬质还是挂了布。把这条从视觉到声学的映射学出来,比多堆几层注意力要费劲得多,也是这个项目真正区别于视频加配乐方案的地方。

静音之后用户偏好会反转,这个实验最能说明价值

团队做了一组用户研究,结果值得细看。开着声音时,受试者以67.9%对20.8%的比例更偏好Helix World,而不是画质更好的EchoWM;把声音关掉之后,偏好直接反转。这组数据说明两件事:第一,声音对"在场感"的贡献被严重低估;第二,当前的画质差距仍然真实存在,只是被听觉体验盖住了。

在WBench的导航分项上,Helix World拿到79.9分,最好的无声模型Alaya-EVOKE-Turbo是82.0分,但后者的实时因子为4.29,运行速度远低于实时。换句话说,画质榜单的领先者目前还无法支撑真正的交互,而能实时交互的模型在画质上退了一步。这个取舍短期内不会消失。

偏好反转这个结果,对整个行业的方法论有提醒意义。过去两年世界模型的评测几乎全部依赖画面指标,PSNR、FID、视觉连贯性打分,声音完全不在评分表里。一旦把听觉纳入体验,原本排名靠前的模型会掉位置。这意味着后续的榜单与合作评估标准,很可能需要把多模态一致性作为独立维度,而不是当成画面的附属品。做投资的团队在看这类项目时,也应当把基准的覆盖面当成一件需要核实的事,而不是直接采信单一榜单的排名。

对三维内容生产链的冲击在哪一环

对做游戏原型、建筑预演、沉浸式展陈的团队,这类模型的价值不在于替代三维软件,而在于把"先建场景再进去看"改成"给一张图走进去看"。概念阶段的沟通成本会明显下降,客户不需要看懂平面图,戴上耳机走一圈就能判断空间关系对不对、氛围够不够。这类需求过去要靠游戏引擎加美术资源才能满足,现在一张概念图就能起步。

再加上声音,场景评审的颗粒度会变得不一样。展厅设计里,回声过强会让人觉得空旷冷清,影院前厅的地毯与吸音板就是为了压混响;这些过去只能靠经验描述,现在可以让人在方案阶段先听一遍。做导览、做沉浸式戏剧、做虚拟样板间的团队,都能从这个能力里直接受益。

离日常工具还有距离。分辨率、时长、场景复杂度都受限,硬件门槛也高。但方向已经清楚:世界模型的下一轮比拼,不会只比谁画得更像,还会比谁让空间更像一个可以待着的地方。声音从附属品变成一等公民,是这条路上必要的一步。

素材来源:IK3D Lab、Noiz AI官方博客、GitHub、Hugging Face 发布时间:2026-10-26