把一半专家删掉成绩反而高了一点,亚马逊这套剪枝法先看你拿什么数据校准

首页 / AI资讯 / 大模型

0:00
0:00
1x
定时

混合专家架构是这一代大模型的默认选择:每一层放几十到几百个专家,每个词元只路由到其中几个。好处是参数量能做得很大而计算量可控,代价是显存。绝大多数专家在任意时刻都是闲置的,但它们必须完整地待在显存里,等着被路由到。删掉一部分专家因此成了一个很实际的方向,问题只有一个:删哪些。

250GB里95%是平时不干活的专家

亚马逊研究团队在11月9日发布的方法说明里给了一组具体数字:Qwen3.5-122B的48个MoE层,每层有256个专家,模型的参数足迹约250GB,其中95%被这些专家的前馈网络占掉,而每个词元实际只激活8个专家。换句话说,显存的绝大部分留给了一群平均使用率极低的模块。

业界解决这个问题有两条路。一条是动态加载,把闲置专家放在内存或硬盘上,用到时再搬进显存;这条路的问题是延迟不可控。另一条是专家剪枝,直接把最没用的专家永久删掉,得到一个更小的检查点。剪枝的好处是不需要重新训练,可以和量化叠加,而且剪完的模型在vLLM、SGLang这类推理框架里能直接跑,不需要改模型定义。

所以真正的难点不在工程,而在判断。删错一个专家,模型的某一类能力会安静地退化,而常规评测未必看得出来。这也是为什么剪枝方法之间的差距,往往在"删哪些"这一步被拉开。

一个专家看起来没用,可能只是它搭档很重要

已有的剪枝方法基本都是一阶的:给每个专家算一个独立的分数,然后按分数从低到高删。REAP、MAN、EAN以及各种频次启发式都属于这一类。它们的共同假设是专家之间互不影响,而这个假设在混合专家模型里并不成立。

亚马逊团队观察到的是另一件事:专家会形成稳定的协作组,在相关的推理步骤里被一起选中。于是出现一种情况,专家A单独看贡献很低,但它和专家B经常同时被路由到,删掉A等于把B的一条常用通路剪断。剪枝比例低的时候,这种断链还能靠其他专家补上;剪到一半时,断链集中爆发,成绩就会成片往下掉。

HOPE的改法是把删专家写成一个二次规划问题。它对剪枝误差做了一个上界替代目标,展开之后自然产生专家两两之间的交叉项。做法很具体:在标定数据上跑一次前向,记录每个词元选中了哪些专家、门控权重多少、输出范数多大,据此拼出一个专家数乘专家数的交互矩阵。矩阵的对角线衡量单个专家的重要性,非对角线衡量两个专家被同时激活时的协同贡献。

有意思的是作者做的一个对照:这个矩阵的对角线几乎能完美复现REAP的排序。也就是说,凡是HOPE比REAP好出来的部分,都可以归功于非对角线那些二阶项。改进的来源因此被钉在了一个具体的矩阵元素上。

校准集换了,剪出来的模型就换了

这套方法最值得产业界注意的地方,不是那个二次规划,而是校准数据的作用。剪枝要在标定集上统计激活情况,标定集里有什么任务,模型就会更倾向保留擅长这些任务的专家。这个逻辑听起来理所当然,但它的影响幅度可能超出预期。

作者在Qwen3.5-35B-A3B上做了两组对照:同样剪掉50%,用偏代码的标定集时,SWE-Bench Pro得分42.33;用智能体轨迹做标定集时,得分40.78;而未剪枝的基线是41.82。同一套代码、同一个剪枝比例,只因为标定数据换了,结果一个在基线之上,一个在基线之下。

报告里还有一组稳定性数据:同一标定集重复三次,选出的剪枝集合平均相似度高于0.95;换成不同领域的标定集,相似度降到0.60左右。0.60意味着两次剪枝大约有四成的专家选择不一样。对一个要在生产环境里跑几个月的模型来说,这个差异足以改变它在具体工作负载上的表现。

这条结论对准备部署剪枝模型的团队有直接的操作含义:选型时不能只问"这个方法好不好",还要问"它是拿什么数据剪的"。如果剪枝用的标定集是通用代码,而你的业务是长文档抽取,那么纸上那点优势可能根本不在你的场景里。合理的做法是拿自己的真实流量做标定,再用一套独立的任务做回归测试。

50%剪枝之后,成绩反而高了一点

回到最抓人的那个数字。在三款模型、两套标定集、10%到50%剪枝比例的全部组合里,HOPE平均排名2.07,五种方法里最好,39%的组合排第一,67%进前二。到50%剪枝这一档,平均排名进一步升到1.58,第二名REAP是2.42。

最能说明问题的是单点成绩:Qwen3.5-35B-A3B剪掉一半专家后,SWE-Bench Pro拿到42.3,比未剪枝的41.8还高0.5;同样条件下REAP是36.2,相对未剪枝退了约13%。一个删掉了一半专家的模型,在一个考真实代码仓库修问题的基准上追平甚至略超原模型,这在两年前是很难想象的。

作者对这一点的表述比较克制:剪枝后的模型偶尔能追平或超过未剪枝基线,这个现象在他们的实验里跨方法都存在,不能单独归功于HOPE。这个提醒很重要。混合专家模型里有大量冗余专家,也可能是原模型的路由本身不够优,剪掉一部分反而减少了互相干扰。这类"越剪越好"的现象在其他压缩研究里也出现过,不宜过度解读成方法本身的普遍特性。

这套方法管不到的地方

论文自己列了三条边界。第一,优势集中在高剪枝率,40%到50%这一档最明显;在10%到20%的低剪枝率下,一阶方法依然有竞争力,因为被剪断的协作链少。第二,当前实现是逐层独立剪枝的,不考虑跨层的专家路径;作者给了跨层的理论框架,但没有落地。第三,只建模两两交互,三个以上专家的高阶组合因为组合爆炸没有纳入。

还有一条没写在局限里但值得补上:这套方法的目标是保住能力,不是提升能力。它不会让你的模型变聪明,只会让同样聪明的模型占更少的显存。对已经在为推理成本发愁的团队,这个价值很实在;对还在追前沿能力的团队,它只是把账单压薄了一点。

从产业角度看,这类工作的意义在于把"模型压缩"从经验活变成了可计算的问题。以前删专家靠试,删完跑一遍评测,不行再换一批;现在可以把选择写成一个带约束的优化问题,一秒到两秒解一层,输出一个明确的花名册。工具开源在awslabs下,用的是Apache 2.0许可,产物是标准检查点。这意味着中小团队也能复现,而不只是看一份论文。

素材来源:亚马逊Hugging Face博客、arXiv预印本、AI Breaking Wire 发布时间:2026-11-17