虎牙WAIC首发实时多模态数字人VAM 1.0,一张照片生成实时交互虚拟主播

首页 / AI资讯 / 数字人

0:00
0:00
1x
定时

在7月18日举行的WAIC 2026腾讯AI应用创新论坛上,虎牙公司CEO黄俊洪发布了自研的实时多模态数字人VAM 1.0。这并非又一个"生成数字人形象"的产品,而是一个真正能在直播场景中7×24小时在线、实时聆听和实时互动的数字人。黄俊洪用一句话概括了VAM的能力:"给它一张静态照片,它还你一个能实时说话、实时聆听、实时反应的虚拟人。不是预渲染,不是录播,是每一帧都在线生成。"

一、直击行业痛点:数字人从"三分屏"到"三小时"的跨越

中国数字人赛道的年复合增长率达52%,约为全球增速的1.5到2倍,亚太是最大的增量市场。但黄俊洪在演讲中坦承了一个行业共识:"市场很热,落地很冷。"多数数字人产品仍停留在照着脚本念的阶段,一段三分钟短视频看上去没问题,一场三小时直播就撑不住了。数字人从展示型产品走向实时交互型应用,需要同时解决三类问题:稳态,即长时间生成不崩、形象不垮;拟态,即表情动作足够自然,不僵硬;动态,即能够实时聆听、实时反馈、实时互动。

虎牙的VAM 1.0正是围绕这三大痛点量身打造的。与其他数字人产品不同,VAM的技术路线从一开始就围绕"直播场景"设计。虎牙在直播行业深耕十余年,积累了海量的互动数据,弹幕从不停歇、观众随时打断、主播需要瞬间反应。这些场景数据成了VAM最宝贵的训练素材。黄俊洪直言:"大多数模型只学过怎么说,没学过怎么听。虎牙泡在直播间十几年,观众不会等你说完再发弹幕。场景,倒逼出了技术。"

二、三段式训练:从"稳"到"真"再到"快"

VAM 1.0采用三段式训练体系。第一阶段目标是"让它稳",通过多参考帧加运动帧锚定形象,确保数字人的面部特征和体型在长时间运行中保持一致。传统数字人在连续生成数十分钟后容易出现面部漂移和形象塌陷的问题,VAM通过引入时序锚定机制解决了这一通病。在虎牙的实测中,VAM连续运行8小时后,虚拟人的面部特征与初始化状态的一致性保持在98%以上,基本消除了肉眼可辨的形变。

第二阶段目标是"让它真",团队利用偏好优化算法在多个质量指标之间找到平衡点。数字人的逼真度涉及表情、口型、动作、眼神等多个维度,优化其中一个维度往往会牺牲其他维度。VAM的偏好优化算法通过引入人类审美评估数据,让模型在多个质量维度上自动权衡,使得最终输出在视觉上最接近真人。第三阶段目标是"让它快",团队大幅压缩了推理步骤并引入自纠错机制。在性能指标上,VAM在同等推理集群下达到36.4帧每秒的生成速度,首帧延迟仅1.3秒,在与八个主流模型的对比中,推理速度最快、延迟最低,四项核心指标全面领先且算力开销更低。

三、场景落地:从直播间到更多消费场景

VAM 1.0已经在虎牙平台真实落地了多个应用场景,包括唱跳互动、数字人狼人杀、主播数字分身和24小时游戏道具带货。在唱跳互动场景中,数字人主播可以根据观众的弹幕点歌实时切换表演内容,观众可以通过打赏触发特定动作。在数字人狼人杀中,AI主持人和AI玩家可以同时参与游戏,真人玩家完全感受不到与自己交互的是数字人而非真人。在24小时带货场景中,数字人主播在真人主播休息时接管直播间,持续进行游戏道具展示和销售,据虎牙内部数据统计,数字人直播间的商品转化率达到真人主播平均水平的67%。

这些场景有一个共同特点:它们不是在"演示环境"中运行的Demo产品,而是在真实流量、真实用户和真实交易环境中经过验证的可用系统。黄俊洪表示VAM后续将分阶段持续迭代,在推理效率、模型表现力和成本优化三个方向同步推进,最终实现多模型融合与低成本人物风格定制。从虎牙的战略规划来看,VAM的真正价值在于将直播内容供给从"线性"变为"指数",过去十年直播内容全靠真人主播支撑,多模态数字人深入融入全天候直播和赛事解说等场景后,内容供给将从加法变为乘法。

四、产业影响:重新定义数字人的价值边界

虎牙VAM 1.0的发布,标志着数字人技术从"展示型"到"交互型"的关键跨越。在VAM之前,行业内的数字人多是预渲染视频或固定脚本动画,被戏称为"PPT上的数字人"。VAM证明了基于DiT架构的实时流式生成是可以落地的,且能够达到36.4帧每秒的实时交互标准。这为整个数字人行业撕开了一道天窗,数字人不再是录播的替代品,而是一个可以像真人一样实时互动的存在。

虎牙的实践也给其他希望在数字人赛道取得突破的企业一个重要启示:用真实场景驱动技术迭代,而不是用技术演示包装场景。沙利文报告预测,到2028年中国数字人市场规模将突破千亿人民币。在千亿级市场爆发的前夜,像VAM这样真正在直播等高频场景中验证过的产品,更有可能在即将到来的数字人大规模商用浪潮中占据先机。

从虎牙的战略蓝图来看,VAM的终极目标是让数字人成为直播平台的"基础设施级能力",每一个直播间都可以一键生成专属数字人主播,每一个创作者都可以拥有AI分身。VAM的发布标志着数字人技术从"展示型"到"交互型"的关键跨越,为整个数字人行业树立了实时交互的新标准。

来源:环球网科技/虎牙官方/WAIC 2026现场报道 发布时间:2026-07-20