十一月五日，Runway公开了一份关于实时对话角色的推理论文。系统背后是约五百七十亿参数的自回归视频扩散变换器，在二十四帧每秒的节奏下，每一百六十六点七毫秒必须产出一小段四帧、分辨率约七十万像素的画面。一个会话聊十分钟，这套动作要重复一万四千多次，中途不能掉链子。
普通视频生成是按模型的节奏走的：写提示词、等一会儿、拿到一段成品。对话场景没有这个余地。角色要听、要回应、要跟着对方的表情变化，慢半拍就出戏。首帧晚了，声音和画面会同时卡住，因为每一帧都带着对应的音频切片。
更麻烦的是这类请求没法批处理。常规推理靠把多个用户的请求攒成一批来摊薄成本，而一对一视频流是私有的、独立的。按官方测算，单个会话每秒需要二点二四千万亿次浮点运算的有效算力，已经超过单张H100的稠密算力峰值。再加一个会话，单步时间几乎翻倍。
所以省下来的每一毫秒都只能从单步内部抠。这个约束决定了整篇论文的方向：不谈模型结构创新，只谈怎么把已有的一步做快。这也是实时类业务与离线类业务的分水岭，后者的优化空间在调度与吞吐，前者只有一条路可走。
把这条约束放到行业里看，会发现能做的产品形态被算力卡死了。实时视频对话只能是一对一，做不了群聊；只能是小画面，做不了大银幕；只能短会话，做不了整场直播。想要突破，先得把单帧成本再降一个数量级，而这在现有架构下并不容易。
每次生成一帧要经过六十个变换器块、每个块四次去噪，合计二百四十次注意力调用。每次调用要读一份约五千七百八十八个槽位的缓存，而其中真正新增的只有七百五十七个。
原始实现里，每次调用都把整份缓存重新算一遍：重新施加旋转位置编码、重新量化成低精度、再把窗口整体平移。这些维护工作占掉了单步两百三十九毫秒里的六十九点七毫秒，而注意力本身只占百分之六。辛苦的不是算，是收拾。
改法很朴素：把维护改成写入时就做一次。缓存每写入一帧就顺手完成位置编码与量化，后续调用直接读现成的。这一步把维护时间从六十九点七毫秒压到六点二毫秒，单步从两百四十点九毫秒降到一百五十九点三毫秒，提速一点五倍，稳定跑到二十四点五帧。
这个改法的启发不止于视频。所有滑动窗口式的自回归生成都会遇到同一个问题：窗口移动时，绝大部分内容其实没变，但朴素实现会把它们全部重算一遍。把增量维护做对，往往比换更快的算子收益更大。
它也解释了为什么这类优化很难被外部复现。论文里给的是思路与几个关键数字，真正的实现要处理边界条件、精度对齐、不同显卡的差异。同一套思路，工程能力差一档，出来的加速比可能只有一半。
多卡并行还有一个隐性开销：张量并行需要在每层之后做一次全归约，把各卡的中间结果汇总。数据量不大，但次数极多，时间全花在等待上。
团队把这步通信融进了低精度的矩阵乘法里，让它在计算的同时完成，等于用计算遮住了等待。在生产配置下，融合后的调用耗时一百五十三点八微秒，融合前是二百零八点二微秒，卡越多优势越明显。两项优化叠加，单会话从八张H100降到四张，帧率还略有提升。
从八张到四张，账面省的是显卡，实际省的是毛利。实时视频这类业务按分钟计费，成本结构里卡时占大头，卡数砍半意味着同样的定价下毛利率翻倍。这也是为什么这类工程论文值得公开：它证明在模型能力接近的情况下，服务效率本身就是竞争力。
全归约这个动作在别处也常见。任何需要跨卡同步的并行结构都会受它拖累，比如长序列训练、混合专家推理、多模态对齐。把通信融进计算是个通用套路，难的是在低精度下保持数值稳定，这里要靠逐层校准与溢出保护。
自回归模型每生成一帧都基于自己之前的输出，这意味着同一段提示词跑两次，结果必然不同。用像素差去衡量优化前后的差异，得到的全是噪声，无法判断改动到底有没有伤到质量。
团队换了一套办法：先测同一配置重复运行的固有波动，再把优化带来的差异放进去比。在五十一组评分片段里，唇形同步的平均差异不超过零点零三，与重复运行本身的波动同一量级。另有四段十分钟长会话得到同样结论。
在线指标更能说明问题。七周遥测显示，在持续超过一秒的会话里，百分之九十九点五的时间平均帧率高于二十三点五；一次回滚修复之后，低于该阈值的会话只剩百分之零点零八。对实时系统，这种长尾指标比平均值重要得多，因为用户记住的往往是卡住的那几秒。
这套评测方法本身也值得借鉴。生成式系统的“没变差”很难证明，比较现实的做法是先把噪声量化，再谈差异是否落在噪声之内。跳过这一步的优化，事后往往要用更贵的方式补回来。
把这几项放在一起看，得到的结论有点冷静：实时对话视频的难点，正在从模型能力转向服务质量。模型决定画面像不像，服务决定它能不能连续跑十分钟不掉帧。
这对做产品的团队是个提醒。演示一段十秒的样片很容易，让一千个用户同时各聊十分钟是另一件事。并发数、卡时成本、故障回滚、灰度发布，这些不出现在发布稿里，却直接决定单位经济模型成不成立。
也要看到边界。当前系统的画面尺寸与帧率是为对话场景定的，换成大幅面或者高帧率，算力账立刻重算。写实度上去了，成本也跟着上去。这个行业接下来比的不是谁的样片更惊艳，而是谁能在可接受的价格上把稳定性做到位。
对国内做同类产品的团队，这份论文的参考价值在于方法而不是结论。卡数、显存、内核实现都绑在特定硬件上，照搬没有意义；但那套先量化噪声再判断质量的评测思路，以及把维护成本挪到写入时的做法，是通用的。少走弯路的往往就是这些不写在摘要里的细节。