英伟达新框架把一条轨迹当成一个整块解码,机器人不再逐个吐坐标

首页 / AI资讯 / AI建模

11月6日,英伟达研究院公布了VFlash,一个面向物理AI的视觉规划解码框架,论文与代码同步开源。它要解决的问题很具体:机器人在动手之前,得先输出一堆空间信息,抓取点在哪、包围框多大、航点怎么连成一条轨迹、画面里每个点在三维空间怎么移动。这些输出现在是按文本的方式一个字一个字生成的,而文本的生成方式与几何的表达方式并不匹配。VFlash的做法是把整条轨迹当成一个解码块,一次并行画完。

逐字吐坐标,在机器人身上为什么不成立

自回归解码是为语言设计的:一个词接一个词,前面决定后面,读起来自然。坐标不是这样。一条十个航点的三维轨迹,展开是三十个数字,每个数字占几个词元并不固定,写成"12.5"是四个字符,写成"-0.03"是五个。生成到第三个数字时如果偏了,前面已经写出去的没法回头改,误差就顺着往后累积,到最后整条轨迹都歪了。

这个现象在论文里被称为级联误差。语言模型里它影响的是句子的通顺度,人读的时候能自动纠偏;机器人身上它影响的是动作,一条偏了五厘米的抓取轨迹就是一次失败。更麻烦的是,规划越长误差越大,而长程任务恰恰是现在最需要的能力。研究团队测得的另一个事实解释了为什么值得为这件事专门造一个解码器:在Jetson Thor上,串行解码占到了模型阶段延迟的75%到87%。也就是说,机器人的反应慢,大头不在模型算得慢,而在它写得慢。

把几何对象当成一个解码块

VFlash的核心叫闪速原语解码。运行前先通过一次结构化的工具调用声明输出长度与坐标排布,告诉系统这次要画的是包围框、是轨迹还是稠密运动场,每种类型的坐标排列方式不同。然后由一个轻量的草稿模型在一次前向里把整个几何块预测出来,目标视觉语言模型保持冻结,只负责处理结果、更新上下文、提取给下游动作模型的特征。

草稿模型是五层非因果变换器,训练时目标模型全程不动,它只学一件事:给定冻结的视觉特征,一次性画出完整的几何块。这个设计的好处是不需要重训大模型,任何现成的视觉语言模型都能挂上去用,改造成本因此被压到很低。文本子任务仍然走原来的投机解码,由目标模型验证,也就是说这套框架只替换了几何输出的那一段,没有推翻整个生成流程。

三个对齐,决定并行能不能真的成立

并行解码最难的地方不是算得快,而是让每个位置的含义固定下来。研究团队列了三条。第一条是边界对齐:训练与解码的分块必须与一个完整几何对象的边界重合,否则草稿模型学到的是被词元窗口切碎的片段,画出来的东西结构就是错的。

第二条是位置对齐。不同坐标值可能占用不同数量的词元,位置一漂,后面的全乱。解决办法是使用专用坐标词元或定宽数值字段,让航点、坐标轴、分隔符始终落在固定位置。这一条听起来是工程细节,实际上是并行化的前提,因为只有位置确定,模型才能同时预测多个位置的内容。

第三条是从几何结构中学习。草稿模型的训练目标不是与目标模型逐词元对齐,而是学会完整的几何形态。这一点让它可以比主干模型更准,因为在几何这件事上,把一条轨迹当作整体来学,比把三十个数字当作序列来背更接近问题本身。研究团队提到的一个现象支持这个判断:在某些三维轨迹指标上,VFlash的输出比它依赖的主干模型更接近真值。

数字要连着口径一起读

发布给出的结果分几层。在Jetson Thor与DGX Spark这类边缘GPU上,动作解码最高提速约12倍,端到端的模型阶段推理约5.1倍。三维轨迹误差相对自回归基线最大下降约61%,三个机器人数据集与三种目标模型组合下的平均三维位移误差下降42.6%。下游控制侧,把VFlash的视觉规划特征喂给世界动作模型,四组操作任务的平均成功率70.2%,基线是62.6%,用主干模型串行生成的规划是61.0%。

还有一组消融值得注意:把轨迹特征换成图像特征、保留生成的子任务描述,成功率掉到63.7%;只用三维规划、不要二维,是69.3%。这说明真正起作用的是几何本身,而不是"多了一段文字说明"。口径上必须说清两件事:61%是最好情况,不是平均值;5.1倍测的是模型阶段,不含传感器输入、预处理与执行器响应,所以不能理解成机器人干活快了五倍。测试还是在批大小为一、使用定制运行时的条件下做的。

它换掉的是一段管道,不是一台发动机

把这套东西放到产业里看,它的意义在于分工。过去提升机器人智能,路径基本是换更大的模型、喂更多数据;VFlash提示还有另一条路:不改模型,改模型说话的方式。对已经在用某个视觉语言模型的团队来说,这意味着不必等下一代模型,只要加一个轻量解码器,就能把规划延迟压下来一截。

边界也要说清楚。它优化的是"看得懂之后怎么把动作说清楚",不解决"看不看得懂"。场景里的遮挡、反光、没见过的物体,仍然由主干模型决定成败。另外,几何块的类型是预先声明的,遇到需要混合多种输出、边看边改的任务,分块策略要重新设计。英伟达研究员Jim Fan在转发时把这件事称为系统一视觉模型时代的开始,这个说法抓住了要点:反射级别的物理推理,靠的不是更深的思考,而是更短的输出路径。

素材来源:英伟达研究院、arXiv论文、凤凰网科技 发布时间:2026-11-07