不靠软件开放接口也能点鼠标,腾讯把电脑操控做成智能体的基本功

首页 / AI资讯 / AI智能体

0:00
0:00
1x
定时

智能体要替人干活,绕不开一个很朴素的问题:它怎么操作那些没有接口的软件。11月21日,腾讯WorkBuddy上线电脑操控能力公测,给出的答案是让模型自己看屏幕。它能识别当前屏幕和客户端界面,执行点击、输入、滚动,不需要目标软件开放API,覆盖Windows和macOS,用户需要升级到5.11.0或更高版本,并授予相应的系统权限。

不调用接口,直接看屏幕点鼠标

过去两年,智能体接入外部世界的主流方式是API。订机票调航司接口,查订单调电商接口,发消息调IM接口。这条路干净、可审计、出错好排查,但它有一个前提:对方得先把接口做出来。

电脑操控走的是另一条路。模型截取屏幕画面,理解界面上有哪些元素、各自在什么位置、当前处于什么状态,然后决定点哪里、输入什么、滚动多少。整个过程不依赖任何一方的配合,只要有图形界面就能操作。

技术上这是一条更重的路。屏幕理解要处理分辨率差异、缩放比例、深色模式、弹窗遮挡、加载中的骨架屏;动作执行要处理坐标偏移、焦点丢失、输入法状态。任何一个环节不稳,用户看到的就是"它点错了"。

从产品设计上看,WorkBuddy把这项能力放在公测而不是正式发布,态度是审慎的。官方同时给出了一个很关键的提示:界面识别效果会因软件而异。这句话不是免责声明,而是把这项能力的真实边界提前说了出来。

为什么要绕开API:长尾软件根本不给你接口

接口路线的问题不在于技术,而在于覆盖率。头部的SaaS产品都有完善的开放平台,中长尾的软件则大多没有。一家公司的ERP是十年前买的,财务系统是本地部署的,行业专用的设计软件只有Windows客户端,这些系统构成了企业日常工作的绝大部分,却几乎没有可用的接口。

更现实的一层是权限。即便软件有接口,企业也未必愿意开。开一个写权限,意味着要评估数据边界、审计日志、责任归属,一圈流程走完可能比人工操作还慢。电脑操控绕开了这道流程,它在系统层面被当成一个"人"来对待,用的是人已经有的权限。

这也带来了它最大的争议点:绕过接口等于绕过了接口自带的那层约束。接口可以限制调用频率、限定字段范围、记录每一次写操作;屏幕操控没有这些天然的护栏,它能看到屏幕上的一切,也能点屏幕上的一切。

所以这类产品真正的门槛不在识别率,而在权限模型。哪些窗口允许操作、哪些操作需要二次确认、敏感页面是否自动屏蔽、全过程是否留痕可回放,这些设计决定了它能不能进企业的生产环境。

识别效果因软件而异,这句话是最大的风险提示

界面识别的准确率很难用一个数字概括,因为它高度依赖具体软件。标准控件组成的界面,模型容易理解;自绘控件、游戏引擎渲染的界面、大量使用图标代替文字的界面,理解难度会陡增。

这带来一个不对称的体验:同一款产品,在A软件上可能一次成功,在B软件上可能要试三次。对个人用户来说,这是可以容忍的摩擦;对企业来说,这意味着流程的稳定性无法保证,而稳定性恰恰是自动化项目验收的第一条。

工程上的应对通常是三条:一是把高频操作沉淀成可复用的动作模板,减少每次重新识别的开销;二是加入状态校验,点完之后确认界面是否真的变了,没变就重试或回退;三是设置人工接管点,在关键步骤前停下来等人确认。

这三条都会牺牲一部分"全自动"的叙事,但它们是让能力真正可用的前提。一个能跑通八成流程、剩下两成叫人的智能体,比一个号称全自动但每天需要人盯着纠错的智能体更有价值。

一千万日活之后,操作能力是下一个入口

这项能力的推出时机不难理解。腾讯三季度财报披露,WorkBuddy的日活跃用户已经超过1000万,日均大语言模型Token消耗量超过100万亿,公司据此判断其日均Token用量居国内AI产品首位。三季度腾讯营收2073.4亿元,同比增长8%,非国际财务报告准则下经营利润681亿元,同比下降6%;剔除新AI产品的影响,经营利润为833亿元,同比增长8%。

这组数字说明两件事。一是AI产品已经带来了可观的用户规模,二是这些产品目前仍在拖累利润。在这样的阶段,产品要证明的不是"能对话",而是"能替人完成一件事",因为只有完成事情才谈得上收费。

操作能力是把对话变成完成的关键一环。一个只会回答问题的助手,用户用完就走;一个能替用户打开系统、填完表单、导出报表的助手,才有机会进入日常流程。进入流程之后,付费的理由才成立。

办公场景的竞争也因此换了赛道。过去比的是模型聪明程度、文档处理速度;现在比的是能不能真正接管一段工作流。接管工作流需要的不只是模型,还有对软件生态的理解、对权限的把握、对企业IT规范的适配。

电脑操控和手机智能体,走的是同一条路

把视线拉远一点,这条路在手机端已经走过一遍。11月中旬,工信部对预装智能体提出备案要求,连一次系统升级都要先报备。监管之所以提前介入,正是因为"能代替用户操作"这件事一旦普及,影响的不再是单个应用的体验,而是整个终端的权限秩序。

桌面端目前还没有对应的规定,但逻辑是一样的。当智能体可以代替人点击、输入、确认,它实际上获得了人的一部分代理权。这份代理权如何授权、如何撤回、如何追责,是这类产品规模化之前必须回答的问题。

对腾讯来说,WorkBuddy的优势在于它同时握有办公套件、企业微信和云这三块资源。这意味着它可以在自己的生态里先把权限模型跑通,再向外扩展。劣势也在这里:一旦跨出自己的生态,识别效果和权限协商都会回到最原始的状态。

接下来值得关注的是三个可验证的点:公测期间会不会公布分软件的识别成功率;权限与留痕的设计会不会开放给企业管理员配置;以及这项能力什么时候从"能操作"走到"能可靠地重复操作"。第三点决定它是演示功能还是生产工具。

素材来源:腾讯新闻、Morketing、腾讯控股财报、IT之家 发布时间:2026-11-22