手机智能体一直被一个问题卡住:训练数据集中在少数大公司手里。真实设备上跑任务要登录、要下单、要付款,环境无法重置,采集成本高且不可复现。南京大学、商汤与多所高校的研究团队给出的解法是把训练场搬进模拟器,他们的成果OpenMobile-2在10月下旬公开,包含两个基于千问3.5与3.6的智能体、完整的训练环境、数据与复现说明。这一步的意义不在于又多了两个模型,而在于把手机智能体的训练方法从黑箱里拿了出来。
团队重建了35款主要在中国流行的应用,包括淘宝、京东、滴滴、美团,同时纳入Slack、谷歌云盘等国际服务,加上已有模拟环境与运行在安卓模拟器里的应用,练习场覆盖110多个应用。人工评审把重建版本与原版逐项比对,反复修正直到工作流与界面贴合。订单、预算与行程会在会话之间保留,剪贴板可以把数据从一个应用传到另一个,每次模拟结束自动回到初始状态,而智能体只能看到截图,拿不到应用内部数据。
这些细节决定了训练出来的能力是否可迁移。只看截图的设定逼着模型学会像人一样找按钮、读弹窗、判断页面状态,而不是走内部接口抄近路。状态持久与跨应用传值则对应真实使用中最容易出错的部分,比如填到一半的表单、被新消息打断的流程。团队还强调,重建的应用经过人工多轮比对,界面与操作路径要尽量贴近原版,否则学到的策略在真机上会立刻失效。
这套环境的维护成本不低。中国主流应用平均两到三周一次版本更新,界面改版、活动弹窗、新增加载页都会让模拟版本失效,团队需要持续跟进。这也是过去很少有人做完整中国应用模拟环境的原因:不是技术做不到,而是维护它需要一支长期投入的工程队伍,产出却难以直接变现。开源之后这一块交给社区分摊,才有可能持续。
团队做了一组对照实验:在训练数据总量相同的前提下增加应用数量,模型在未见应用上的成功率从60.7%提升到67.5%。这个结果直接反驳了"堆数据就能提升"的直觉。应用越多,界面范式与交互习惯的差异越大,模型被迫学习更通用的操作策略,而不是记住某个App的固定路径。
数据管线的搭建方式也值得一提。团队用Gemini 3.1 Pro作为教师模型,生成了约11600条示例工作流与2000多个带自动校验的练习任务。也就是说,开源模型实际上是在向一个闭源系统学操作,这在当下的开源生态里已经是常规做法,但也意味着教师模型的偏误会以数据的形式沉淀下来。对想复现的团队来说,成本主要不在训练,而在搭建这套模拟环境与教师管线。
教师模型的选择也有讲究。Gemini 3.1 Pro在多步界面操作上的稳定性,是它能生成可用工作流的前提;换用能力弱一些的模型,生成的操作序列会在中途出现无意义的点击,校验环节大量报废。2000多个练习任务带自动校验,意味着数据质量可以被程序筛掉一部分,而不是全靠人工抽查。这套管线把合成数据从数量游戏变成了质量控制问题。
在真实安卓设备上,较大版本在SPA-Bench拿到59.6分,是开源模型中报告的最高分;AndroidWorld从67.1分提升到79.9分,较小版本从54.3分提升到74分;更难的MobileWorld覆盖跨应用长任务,较大版本从35.9分提升到50.4分。作为纵向对照,上一代OpenMobile-1在AndroidWorld上是64.7分。
横向看,这组数字已经进入闭源产品所在的区间,但仍有明确差距。跨应用长任务的50.4分说明连续多步操作时的状态跟踪与错误恢复仍是短板,而这恰恰是用户最在意的部分:一个能在单一应用里点外卖的智能体,和一个能在比价、下单、改签、报销之间来回穿梭的智能体,难度不在一个量级。团队自己在论文里也承认,接近头部不等于可以交付,长任务的稳定性需要另一套评估方式。
分数之外还有一层容易被忽略的差别:这些数字是在真机上跑出来的,不是模拟环境。模拟器里训练、真机上评测,这个组合比两边都在模拟器里更有说服力,因为它检验了迁移能力。不过真机评测的样本量与设备型号仍然有限,不同厂商的系统定制会带来界面差异,跨机型泛化目前还没有公开数据。
研究里有一个实用发现:当模型被显式训练使用"直接指令"这类快捷路径时,任务完成率最多提升10.3个百分点,操作步数减少约5步。步数减少的意义不只是快,还降低了中途被弹窗、广告、验证码打断的概率。作者也注明这项能力仍属实验性质。
要真正进入日常使用,还差三件事。第一是权限与边界,代用户下单、支付、签收的授权该怎么给、怎么撤回,目前没有统一答案。第二是可观测性,用户需要知道智能体点了哪里、为什么这么点,出问题时能回放。第三是失败后的补救,真实应用里每一次失败都有成本,智能体要能识别"我搞砸了"并停下来求助,而不是继续在错误路径上加码。
开源把训练方法交出来了,这三件事仍要靠产品与规则去补。对国内厂商,这份工作的价值还在于示范了一件事:在无法获取真实用户操作数据的前提下,通过高保真模拟环境与自动校验管线,也能把智能体训练到接近可用的水平,这条路比等待平台开放数据更现实。