10月31日,小米技术宣布正式发布并开源轻量级文档理解模型Xiaomi-OCR-0,参数只有0.8B,宣传口径是"小尺寸全能王"。它的定位不是又一个文字识别工具,而是把文档解析、关键信息抽取和OCR视觉问答三件事塞进同一个模型。底座用的是Qwen3.5-0.8B-Base,训练数据约1.7亿条OCR与文档理解样本,权重、推理代码、浏览器交互Demo、MCP服务和Agent Skill工具包都已经放出。
文档解析要做的是还原结构。它需要识别正文、复杂表格和数学公式,按自然阅读顺序输出,并且支持Markdown与LaTeX等格式。这件事的难点不在认字,而在版面理解,一张双栏排版的论文扫描件,错行拼接得到的文本比识别错误更难被下游发现。
关键信息抽取要做的是填表。从发票、收据、卡证和业务表单里按指定字段提取内容,直接生成JSON等结构化数据。这类任务的评价标准很硬,字段对不上就是错,没有"大致正确"的中间状态,因此它对格式约束的稳定性要求高于对语言能力的要求。
OCR视觉问答要做的是推理。围绕文档或图表内容做信息检索、数值计算和语义判断,比如从一张财务报表截图里算出同比变化。这一步把模型从"读"推到"用",也是过去通用OCR接口完全无法覆盖的部分,因为接口只返回文字,不返回结论。
把三件事放进一个模型,实际收益在于链路缩短。过去的做法是先用OCR取文字、再用规则或小模型抽字段、最后接一个大模型做问答,三段之间要传文件、要对齐坐标、要处理格式转换,每一段都是一个故障点。合并之后,同一张图只过一遍编码器,字段抽取与问答共享同一份视觉表示,错误来源从三处变成一处。
文档理解是一个边界清晰的任务:输入是图像,输出是结构化文本,判断标准是字段与顺序是否对。这类任务的瓶颈更多落在视觉编码的分辨率、训练样本的覆盖面和输出格式的约束上,而不是开放式推理的深度。参数量堆上去,收益会很快遇到天花板。
反过来,大参数模型在这个场景里有两个实际劣势。一是成本,一张发票抽字段的业务量往往以百万计,单次调用价格差几倍就是一条产品线能不能做的分界;二是格式漂移,模型越大越倾向于"自由发挥",多写一句解释就会让下游解析失败。
小米给出的对照数据里,最有信息量的一条是五项主流OCR视觉问答基准平均83.2分,官方称超过部分参数更大的模型,包括8B的MiniCPM-V-4.5。这个对比如果成立,说明在文档类任务上,专用训练数据的边际收益仍然高于参数规模。
从工程角度看,小模型要在这类任务上站住,靠的是三件事:视觉编码器的输入分辨率够高(表格线和小字号公式最容易在这里丢)、训练样本的版面覆盖够杂(双栏、竖排、带水印、手机拍摄带透视变形)、以及输出被严格约束在约定的格式里。这三件事里没有一件靠加参数解决。
小米官方没有披露视觉编码器的具体结构与分辨率上限,只说了底座和样本量。这两个未披露的数字其实很关键,因为它们决定了模型在A4以上大幅面扫描件上的表现,而真实业务里最贵的单据往往就是大幅面的合同与报关单。
第一个是Real5-OmniDocBench的95.24分,官方称在参与对比的模型中排名第一。这个基准侧重真实场景的五类文档,考察的是鲁棒性,也就是拍照歪了、有阴影、纸张褶皱时还能不能读对。
第二个是OmniDocBench v1.6的96.83分,总榜第二,在1B以下模型中位列第一。综合榜的分数通常会被任务配比影响,排名第二说明它在整体覆盖面上不弱,但真正的差异化仍然要靠第一个基准里的细分项。
第三个是五项OCR视觉问答基准平均83.2分。问答类任务的天花板明显低于解析类,80分出头在同类模型里属于可用但需要复核的水平,涉及金额计算与合规字段时不能直接信任输出,这是行业现状而不是这一家的短板。需要说明的是,三组数字均为小米自报,目前没有第三方复现。
还有一个容易被忽略的口径问题。文档解析类基准的评分通常由编辑距离与结构匹配两部分构成,编辑距离容忍局部错误,结构匹配对表格行列的错位极其敏感。同一个模型在这两项上的分数可能相差很大,而厂商公布的往往是加权之后的综合分。要判断它在自己的业务里能不能用,最稳的办法是拿二十张自家单据跑一遍,看字段级准确率,而不是看综合分。
官方给出的落地场景是取餐码提取、账单智能记账、卡证信息识别和日程创建,这些功能已经在小米手机和超级小爱里跑。它们有三个共同点:单次输入是一张图、输出是一个或几个字段、用户对延迟的容忍度在两秒以内。
端侧推理带来的直接好处是隐私,图片不出设备,账单与卡证这类敏感信息不需要上传。代价是模型必须足够小,0.8B在旗舰手机上可以用NPU跑,在中端机上就要看量化方案,这部分官方没有披露具体的机型适配清单与内存占用。
开源清单里值得单独一提的是MCP服务和Agent Skill工具包。前者意味着这个模型可以被挂到智能体上当作一个工具调用,后者意味着它能按技能描述被自动编排。对于做RPA或企业流程自动化的团队,这比权重本身更有用,因为接入成本从"训一个模型"降到了"注册一个工具"。
需要留意的边界也很清楚。官方没有公布长文档(几十页合同)与手写体的表现,1.7亿条样本中合成数据与真实数据的比例也未说明,这两个数字决定了它在实际业务里的可用范围。小模型在标准基准上很能打,在真实脏数据上掉分更快,这是所有端侧方案的共同课题。