你见过能实时互动的AI视频吗?跟着一只小狐狸游览景色,你询问它接下来的计划,它会马上带你看附近的景点,会拿着旅游地图边走边指着身旁的风景讲解给你听。这不是一段提前录制好的视频。屏幕里的小狐狸是由Vivix-A1实时生成的AI角色,用户说出的每一个指令都会直接改变它接下来讲什么、做什么。2026年7月24日,成立一年多的AI初创公司Vivix发布了全球首个集合了多模态参考、原生交互以及流式视频生成的基座模型Vivix-A1和Vivix-W1。这两款模型的激活参数约为30B。A1是面向交互式AI角色的实时全双工模型,用户可以与生成的角色进行实时对话互动,角色会根据对话内容动态调整动作和表情。W1是面向世界交互的模型,用户可以在实时生成的视频场景中与虚拟环境进行交互。更令人关注的是速度和成本:据官方报告给出的数据,可见反应延迟低于0.6秒,计入网络传输和直播推流后,端到端首次反应延迟低于1.7秒。团队的实时视频推理成本在过去一年内降低了2个数量级,已接近主流视频平台每小时CDN带宽成本量级。这些数据意味着实时交互多模态技术终于可以走出实验室,走进真实的使用场景。
常见的talking avatar本质上是一张会说话的脸:先生成语音,再让嘴型跟上。Vivix-A1则把角色从一张脸扩展到完整的身体。它不仅能感知周围环境,还能走动、拿取物品,完成各种全身表演。具体的说A1的能力主要体现在四个方面。首先是全身表演。以往的数字人角色只能面对固定镜头,而A1的角色可以在场景中自由移动,边走边讲解。其次是多模态交互,A1可以同时处理语音和视觉输入,用户用语言和动作都可以与角色交互。第三是环境适应,A1的角色能够感知周围的虚拟环境对象,识别场景中的物体并做出相应反应。最后是情感表达,A1的角色在说话时会产生与语义和情绪相匹配的面部表情和肢体语言,让交互更加自然。Vivix将A1的训练目标拆解为四个核心维度。形象一致性:确保生成的角色在不同场景和动作中保持外观统一。动作一致性:确保角色的动作符合物理规律和身份设定。交互实时性:确保从用户输入到角色响应的延迟控制在交互可接受的范围内。表达丰富性:确保角色具备丰富的表情和动作表达,避免千篇一律的反应。在训练过程中Vivix团队构建了一个大规模的多模态交互数据集,包含数百万小时的视频和对话数据。团队还设计了一套专门针对实时交互的模型架构优化方案,包括注意力机制的延迟优化、推理管线的流水线并行和模型权重的量化压缩。
实时交互视频生成是AI领域中公认的最困难的技术挑战之一。原因很简单:视频生成本身就极为复杂,而实时交互则要求系统在用户输入的瞬间就做出响应并实时生成匹配的视频内容。传统的视频生成模型完成一次生成任务可能需要数秒甚至数分钟的时间,这对于实时交互来说是完全不可接受的。Vivix团队在技术报告中详细介绍了他们如何解决这一核心难题。第一个突破是模型架构的优化。Vivix设计了一种新型的流式视频生成架构,模型不需要等待完整的视频帧全部生成后再输出,而是在生成过程中逐步输出已经完成的帧。这种流式输出方式让用户几乎感受不到等待延迟。第二个突破是推理引擎的加速。Vivix团队自研了一套针对实时视频推理优化的计算引擎,通过计算图优化和算子融合等手段,将单次推理的延迟压缩到原来的十分之一以下。第三个突破是模型量化压缩。通过将模型权重从FP16压缩到INT4,在几乎不影响生成质量的前提下将模型推理速度提升了约4倍。这些技术突破组合在一起,使得Vivix-A1在NVIDIA RTX 4090级别的消费级GPU上即可运行实时交互。从Demo展示的效果来看,A1生成的数字角色在动作流畅性和交互响应速度方面已经达到了可用的水平。虽然距离完全无延迟的真人对话体验还有一些差距,但已经能够提供足够的沉浸感来支持实际应用场景。
除了发布模型本身之外,Vivix同时推出了API平台,向开发者和企业开放实时交互视频的接入能力。这一平台战略意味着Vivix不仅仅是在卖模型,而是在构建一个可以让第三方开发者在其上构建应用的生态。Vivix API提供了几个核心能力。角色创建API允许开发者创建和管理自定义的AI角色形象,支持从文本描述生成角色外观。交互控制API允许开发者控制角色的动作、表情和对话内容。场景管理API允许开发者创建和管理交互发生的虚拟场景。流式传输API提供低延迟的视频流传输能力。Vivix计划通过API按使用量收费,其定价策略对标主流视频平台的CDN带宽成本。公司认为当实时视频推理成本降至与视频传输成本相当时,大量的应用场景将被激活。从商业前景来看,实时交互视频技术的应用场景非常广泛。游戏和虚拟世界中每个NPC都可以拥有独立的交互能力和实时反应的角色。在线教育中虚拟教师可以根据学生的实时反馈调整教学方式和内容。电商直播中AI数字人可以作为虚拟主播与观众实时互动。客户服务中数字人可以在网站或App上提供面对面的交互式服务。Vivix宣布已经与多家游戏公司和电商平台达成合作意向,正在推进产品的商业化部署。公司表示将继续优化模型性能,降低运行成本,并逐步开放更多API功能和自定义选项。