蚂蚁开源百灵首个原生多模态大模型,视觉反馈闭环让AI边看边改

首页 / AI资讯 / 大模型

9月9日,蚂蚁集团正式发布并开源百灵系列首个原生多模态大模型Ling-3.0-flash-VL。这款模型基于百灵Ling-3.0-flash的混合专家架构扩展而来,总参数量124B,单次推理仅激活5.5B参数,原生支持图像、文本与视频输入,上下文窗口达到256K Token。与常见的看图回答或看图生图不同,Ling-3.0-flash-VL把任务推进方式改写成观察、行动、验证、修正的持续闭环,让模型在医疗报告解读、前端代码生成与GUI自动化等真实任务中,可以依据视觉反馈不断修正自己的执行结果,而不必反复重头再来。

视觉反馈闭环,解决了什么老问题

过去多模态模型处理任务大多是单向的,输入一张图加一段指令,模型一次性给出答案,如果结果不对,用户只能重新描述再生成一次,模型自己并不知道哪里错了。Ling-3.0-flash-VL想改变这种一次性博弈的局面。它把任务执行拆成四个步骤,先观察当前画面理解状态,再采取行动生成结果,随后通过渲染或比对验证效果,最后依据误差修正输出,形成一轮可以循环往复的闭环。

这套机制在需要精确落地的场景里价值立现。以图片转网页为例,模型不仅要理解设计稿里的布局与组件关系,生成对应代码,还要把生成结果渲染出来与原图比对,发现颜色、间距或层级不对就主动调整,直到还原度达标。蚂蚁方面透露,在Image-to-WebDev Arena官方评测中,该模型的评测得分已高于GPT-5.4。作为GUI智能体时,它能识别界面结构并完成跨工具操作,做网页截图转代码这类脏活累活时,自我修正能力成了它区别于普通识图模型的关键。

124B总参只激活5.5B,效率与文本反哺

在架构层面,Ling-3.0-flash-VL延续了百灵系列对推理成本的极致控制。124B的总参数通过MoE架构稀疏激活,每次推理只点亮5.5B参数,配合任意分辨率视觉编码器与VideoRoPE位置编码,模型既能处理高分辨率长图,也能在实时视频对话与长视频分析中保持低延迟。它的语言主干采用42层混合架构,交替排列KDA与Gated MLA两种注意力模块,比例为5比1,这种设计在保证长上下文能力的同时压低了显存占用。

更有意思的是训练层面的发现。蚂蚁表示,通过原生多模态联合训练,视觉信息的引入不仅没有拖累文本能力,反而带来了正向提升。在Artificial Analysis智能指数评测中,Ling-3.0-flash-VL较纯文本版本的Ling-3.0-Flash提升了4分。这说明视觉与语言的联合表征让模型对世界的理解更完整,模态之间的知识可以相互增强,多模态不再只是给模型加一双眼睛,而是给大脑本身补了一课。

医疗报告、GUI操作,落地场景各就各位

在医疗场景,Ling-3.0-flash-VL展示了跨文档整合的能力。面对多份检查报告与病历,模型可以提取关键指标、对照参考范围并标记异常风险,把分散在PDF与影像报告里的信息汇总成结构化结论,辅助医生快速定位需要关注的项目。医疗数据的专业性强、容错率低,视觉反馈闭环让模型能在输出前自查格式与逻辑,降低了直接交付错误结论的概率。

在办公自动化方向,它则化身GUI智能体,看懂屏幕上的按钮、表格与弹窗,模拟人手完成跨应用的点击与填写操作。无论是网页端还是桌面软件的界面,模型先识别结构再执行动作,遇到操作失败还能根据截图反馈调整策略。蚂蚁将这类能力称为让模型更可靠、更高效地完成真实任务,从看懂一张图到真正替用户把事办成,这中间差的正是那套不断验证与修正的执行骨架。

值得一提的是,这类以执行为导向的多模态模型对评测体系提出了新要求。过去图像模型比拼的是单次生成的画面质量,而现在衡量Ling-3.0-flash-VL这类模型的尺子,变成了任务成功率、修正轮次与最终产出可用性。蚂蚁在开源说明中也强调,模型在复杂长尾指令与中文文档版式上仍在持续迭代,团队希望借助开源社区的反馈补齐短板,让视觉反馈闭环在更多行业场景里经受真实任务的检验,而不是停留在实验室演示的水平。

全栈开源之外,端侧版本已在路上

发布即开源是Ling-3.0-flash-VL的另一重意义。目前模型的BF16与FP8权重已经同步上架Hugging Face与魔搭社区,开发者可以自由下载、微调并集成到自有产品中。Ling Studio也同步上线了免费体验入口,用户无需申请即可在网页端试玩图片转网页与GUI操作等能力,大幅降低了体验门槛。蚂蚁还透露,FP4与INT4量化版本计划于近期发布,进一步覆盖端侧与低算力部署场景。

回看蚂蚁的开源路线,从文本模型到如今的视觉语言原生多模态,百灵系列正在把智能体的执行能力与多模态感知捏合成一体。业内分析认为,Ling-3.0-flash-VL的视觉反馈闭环代表了一类新趋势,模型竞争正从单次生成的惊艳转向多轮执行的可靠,谁能把看、想、做、改串成完整的闭环,谁就更有机会成为下一代AI应用的地基。蚂蚁用一次开源把这条路铺到了开发者脚下。

素材来源:IT之家、凤凰网科技、腾讯研究院、观点新媒体 发布时间:2026-09-10