世界模型不该只生成好看的画面,这篇论文让粒子按物理规律动起来

首页 / AI资讯 / AI建模

0:00
0:00
1x
定时

现在的视频世界模型,大多数在学怎么把下一帧画得像。画面越逼真,越容易被误认为理解了物理。但一支杯子从桌上掉下去,重要的不是落地那一下的像素,而是它在下落过程中受到的力、与桌沿的接触、摔碎后碎片怎么散。11月5日公开的一篇论文提出了另一种做法:不去生成画面,直接生成三维空间中粒子与刚体的运动。模型叫GPWM,生成式粒子世界模型。

视频世界模型学的是看起来对

视频模型的监督信号是像素。它可以把光影、材质、反射学得非常准,也可以在训练分布内生成连贯的动作。问题在于,像素层面的相似并不等于物理层面的正确。一个模型可能生成一段看起来很顺的翻滚,但物体的质量、摩擦、接触顺序全是错的,只是错得不明显。

GPWM换了一个预测对象。它预测的是三维场景中粒子与刚体随时间如何移动,输出的是轨迹而不是画面。这个选择的好处是,物理量直接出现在表示里,误差可以被度量;代价是训练数据必须带三维标注,不能像视频那样从网上直接抓。更根本的差别在评价方式:视频模型的指标是画质与一致性,粒子模型的指标是轨迹误差与接触是否正确,后者可以直接和仿真器对照。机器人团队更愿意看后者的数字,因为它和真机上的失败模式更接近。

用粒子表示,把材质差异收进一个架构

研究团队用一个统一的表示覆盖四类材质:刚体、可变形体、布料、颗粒。这四类在传统仿真里往往对应不同的求解器,刚体算接触,布料算约束,颗粒算碰撞,切换场景就要换一套代码。用粒子表示之后,差异被压到同一种数据结构里,模型只需要学粒子怎么动。

架构上是对象感知的多分辨率变换器,把流匹配与扩散强制结合起来。多分辨率的用处是兼顾局部细节与整体结构,布料褶皱需要细粒度,房间布局需要粗粒度,同一套网络要同时处理两种尺度。扩散强制则让模型在长时序上保持稳定,不至于推演几十步之后画面崩掉。代价也在这里,粒子数量一多,注意力的开销就上去了,多分辨率的设计本质上是在为这个开销找出路。另一个代价是渲染,粒子本身不携带外观,要在仿真里看到画面还得配一套渲染管线,这部分工作论文没有展开。

单一权重统一四个域,难在哪

论文里最值得注意的结论,不是误差降了多少,而是一套权重同时覆盖了六个物理域。过去这类工作通常按域分别训练,刚体一个模型,布料一个模型,因为不同材质的动力学差异太大,混在一起容易互相拖累。

GPWM的结果是,统一模型在每个域上都超过了此前最好的学习型动力学基线,平均预测误差降低31%,在其中两个域上甚至超过了自己训练的专家模型。这个结果说明,材质之间的差异并没有想象中那么大,至少在网络容量足够、表示足够统一的前提下,共享特征带来的收益大于干扰。

泛化能力也做了验证。模型能处理训练时没见过的几何形状、物理属性、物体数量和推演时长。这一条比榜单更重要,因为真实场景里几乎不会出现和训练集完全一致的物体。这个结论如果成立,会改变数据集的构建方式:过去按材质分库,现在可以把不同材质混在一起训练,数据利用率更高,标注规则也可以统一。

2550万帧的语料,比模型更稀缺

支撑这些结果的是一个叫ParticleWorlds的数据集,2550万帧,覆盖多种几何、材质、交互和机器人本体。这个规模在三维物理数据里不算小,但和视频数据比仍然有限。三维数据的采集成本高,需要仿真或动捕,标注也要精确到物体级别。

这也解释了为什么这类研究的门槛不在算力,而在数据。能稳定产出高质量三维交互数据的团队,等于握住了训练物理世界模型的原料入口。开源数据集能解决一部分问题,但真正贴合一线的场景数据,还是掌握在机器人公司和仿真平台手里。数据还有偏差问题。仿真数据可以精确标注,但仿真器本身的物理近似会带进系统性误差;真实数据准确,标注成本高、覆盖窄。ParticleWorlds 的构成没有公开到可以判断偏向哪一边,这是所有物理世界模型共同面对的两难。

规划从动作空间挪到噪声空间

论文还给出了一个应用侧的结论:用这个世界模型做规划,不必在动作空间里搜索,而是搜索模型的潜噪声。传统做法是试不同的动作序列,看哪个能达成目标;GPWM的做法是固定目标,反推哪一组噪声能让模型生成通向目标的轨迹。

在推动和抓取这两类接触密集的任务上,噪声空间搜索明显优于动作空间搜索。原因不难理解,接触序列的组合空间太大,动作空间里随机试很难碰到可行的路径;而生成模型学到的先验已经把物理上合理的运动压缩在低维流形上,在这个空间里搜索,命中率自然更高。执行阶段是开环的,不需要参考轨迹,也不需要为每个目标单独训练策略。这个思路的局限是它对模型先验依赖很强。如果生成模型学到的运动分布本身有偏,搜索只会在有偏的空间里找最优,错误会被放大而不是纠正。规划效果的上限,仍然由世界模型的准确度决定。

这条路线还缺什么

第一是真实世界的验证。论文的规划实验在仿真里开环执行,没有上真机。仿真里成立的接触序列,到真实世界会遇到传感器噪声、执行误差、材质不一致,这些差距会放大长时序推演的偏差。

第二是计算成本。粒子表示的精度越高,粒子数越多,推演越贵。要在机器人上做实时规划,还得解决模型压缩与推理加速的问题。论文没有给出端侧部署的数据,这一块仍是空白。

第三是场景规模。2550万帧覆盖的是多种材质与交互,但真实世界的长尾极长,从厨房台面到建筑工地,物理条件的分布差异很大。世界模型能不能在没见过的环境里保持稳定,需要更多跨场景测试来回答。第四是评测标准,目前没有公开的物理常识基准能同时覆盖四类材质,各家论文用的数据集不同,数字之间很难横向比较。

素材来源:arXiv、ArxivLens、arXiv Vanity 发布时间:2026-11-09