智能体跑偏了怎么按停,安全公司把终止开关做成了可一键执行的按钮

首页 / AI资讯 / AI智能体

0:00
0:00
1x
定时

十一月四日至五日,CrowdStrike连续公布了三件事:以约四亿美元收购AI观测公司Fiddler AI,以约九千五百万美元收购AI安全测试公司Dreadnode,同时上线一项叫AI终止开关的功能,可以在智能体越界时直接停止其运行、切断网络访问并阻止重启。三件事指向同一个判断:企业已经把自主智能体放进生产环境,而管住它们的工具还没跟上。

终止开关为什么是一个产品,而不是一行代码

表面上看,停掉一个进程只需要一条命令。真实环境里没这么简单。智能体往往以服务账号运行,挂在多个系统上,手里握着令牌、缓存和未完成的任务。粗暴杀掉进程会留下半截状态:数据库事务没提交、消息队列里的任务没人认领、外部系统以为它还在工作。

所以“停”要解决四件事:确认停谁、停到哪一层、停完怎么收尾、怎么防止它自己起来。切断网络只是其中一层,还要吊销临时凭证、冻结会话、把未完成任务标记为待处理。缺任何一项,停下之后都要靠人工一间间去查。

把它做成产品,意味着要能被审计。谁在什么时间、基于什么信号按下了开关,事后要能还原。这类记录在事故复盘与合规检查里都是刚需,也是它和脚本最本质的区别。企业在事后向监管解释“我们当时做了什么”,靠的正是这类时间线。

观测先于管控,Fiddler补的是看得见

要按停,先得知道它跑偏了。AI观测这件事的难点在于输出不确定:传统监控看的是错误率、延迟、吞吐,这些指标正常,模型也可能在胡说,或者在乱调工具。

Fiddler这类产品做的是把每次调用的输入、上下文、工具选择、返回结果串成可查的轨迹,再在上面跑评估。比如同一个客服智能体,今天调用退款接口的比例突然翻了五倍,这个信号不会体现在接口成功率上,只体现在行为分布上。

四亿美元买这样一家公司,说明行为可见已经被当成基础设施。没有这层,终止开关只能靠人肉发现异常,按下去的时机永远晚一步。而对智能体来说,晚一步的代价往往是一次已经执行完的写操作。

这类产品还有一个隐性门槛:采样成本。把每次调用的上下文与返回全量记录下来,数据量会很快压垮存储,多数平台因此做分层采样,重点会话全留,普通会话抽检。采样策略一旦设计不当,出事时最需要的那条轨迹恰好没被留下,事后复盘就变成了猜。

红队测试进了采购清单,Dreadnode那九千五百万

另一半是上线前的测试。Dreadnode做的是自动化红队:用攻击者的思路去试探模型与智能体,看它会不会被诱导越权、会不会泄露上下文、会不会被注入的指令带跑。

这类测试的价值在于可重复。人工红队一次能覆盖的场景有限,模型一升级就要重来。自动化之后,每次发版都能跑一遍,把这次改动有没有让攻击面变大,变成一个能回答的问题。

价格也能说明问题。九千五百万美元相对四亿不算大,但它补的是流程里最靠前的一环。买观测是买事后,买红队是买事前,两笔加起来的近五亿美元,买的是智能体从上线到出事之间的整条链路。

红队测试还有个现实困难:评价标准模糊。传统渗透测试有明确成败,而智能体的越界往往是渐进的,一次越权读取看起来无害,十次组合起来才构成泄露。这要求测试用例本身具备组合思维,只测单点会得到一个虚假的安心。

监管的口径在变:不看多先进,看能干什么

同一周,美国货币监理署发布了面向银行检查员的首份AI审查指南。它的判断方式值得注意:不为AI单设一类风险,而是看这套系统实际可能造成什么危害,以及它被授予了多少自主权。

指南里有一个判断很实在:一个被允许发起交易的简单系统,潜在风险可能高于一个只在内部运行的高复杂度模型。这句话把讨论从模型有多强拉回到它能动什么,也让权限设计成为审查重点。

对企业来说,这意味着安全投入的落点要改。过去预算多花在模型评测与内容过滤上,现在要花在权限收窄、操作确认、沙箱隔离与日志留存上。终止开关恰好是这套体系里的最后一环,也是最容易在采购清单上被勾选的一环。

这套口径对供应商也有影响。过去卖AI产品靠的是一张能力清单,现在要能回答它被授予了什么权限、越权时怎么拦。答不上来的产品,在银行、保险、医疗这些行业的招标里会直接被筛掉。

三层加起来的账单,最后由谁付

观测、红队、熔断,三层都要钱。按调用量计费的观测平台,在大规模部署下账单不小;红队要按次买;熔断本身不贵,贵的是它依赖的那套权限与身份体系。

这笔钱最终会摊到业务侧。一个日均百万次调用的智能体,安全成本可能占到总调用成本的一到两成。对已经在算单位经济模型的团队,这是一项必须提前计入的支出,而不是出事之后再补的预算。

也有更省的做法:把高风险动作从智能体手里拿回来。查询类放开,写入类要求二次确认,资金类只允许在限额内自动执行。权限收窄能省掉大量监控成本,代价是自动化程度下降。这个取舍没有标准答案,取决于业务对错误代价的容忍度。

值得注意的是,省下来的钱常常被转移到别处。权限收窄之后人工复核的工作量上升,运营成本从技术侧挪到了人力侧。真正划算的方案通常不是把自动化砍掉,而是把高风险动作单独挑出来做人工确认,其余照常跑。

停下之后,责任的边界在哪

终止开关解决的是止损,不解决谁负责。智能体按错误指令下单、按过期规则发了通知、把内部数据发到了外部系统,这些后果不会因为按下开关而消失。

现在的合同与内部制度大多还没写清这件事。智能体是工具还是代理人,操作日志要留多久,供应商对模型行为承担什么责任,出事后由哪个岗位签字,这几条在多数企业里仍是空白。技术工具越完善,制度空白越显眼。

一个务实的起点是把智能体的权限清单当成资产来管:它能读什么、能写什么、能花多少钱、能对外发什么。清单越短,出事时的追溯越容易。这套东西不上台面,但它比任何开关都更早生效,也是所有安全产品的前提。清单写得越早,后期要补的监控越少,投入的次序比投入的多少更影响结果。

素材来源:金十数据、极客公园、CrowdStrike官方 发布时间:2026-11-06