十GB显存也能跑生图模型,量化从几个固定档位变成可拧的小旋钮

首页 / AI资讯 / AI绘画

0:00
0:00
1x
定时

跑本地生图模型的人大多撞过同一堵墙:八bit的权重装不进显存,四bit的权重装进去了却掉细节,中间那一段没有档位可选。魔搭团队在11月19日开源了一个叫EntroPack的方案,做的事情很具体,把量化码率从一个固定档位变成一根可以拧的旋钮,想要多大体积就压到多大。

四bit与八bit之间,留了一段没人管的空白

量化的本质是用更短的表示来存放权重。位数少,模型小,显存省,代价是精度下降、细节丢失。过去主流量化方案只在四bit、八bit这两个档位附近做文章,因为这两档有成熟的算子与推理引擎支持。

问题出在真实设备上。手头只有24GB显存,模型偏偏要25GB,差的那一点就是过不去;这时候需要的既不是四bit也不是八bit,而是一个刚刚好的七bit。模型的规模千差万别,设备的显存各不相同,几个预设档位无法覆盖中间的连续空间。

档位之所以长期停留在四与八,是因为推理引擎只对这两档做了算子优化:同样的权重,四bit能跑出更高的吞吐,八bit能保住精度,中间的位数没有对应的内核,跑起来反而慢。这也是为什么"码率可调"听起来简单,做起来要在解码环节补一整套工程。

EntroPack瞄准的就是这段空白。它给出的不是几个档位,而是一个连续的目标码率,开发者按显存预算给一个数,方案自己去找对应的量化尺度。

用信息熵,把压缩变成一道可解的题

在信息论里,熵是无损编码平均码率的理论下限,熵编码可以让实际码率逼近这个下限。EntroPack把码率控制转化为对量化结果信息熵的调控,具体做法是格量化与熵编码结合。

编码第一步是找尺度。它对权重矩阵按行归一化,减小不同行之间的幅度差异,然后在随机采样的子矩阵上做几何二分搜索:每次取上下界的几何平均值作为候选尺度,按这个尺度量化后统计符号频率、估算每个参数占用的位数,超过预算就放大尺度,低于预算就缩小尺度。团队算过,最多12次迭代就能收敛。

第二步是压误差。尺度确定后,整个矩阵被量化成一组E8格点,每8个数值合成一个格点,每个格点用类别标记加整数符号表示;随后用最小二乘重新拟合每行的重建尺度,在不增加存储开销的前提下缩小重建误差。最后把格点切块,用rANS做分块并行熵编码,得到压缩码流。

解码走的是另一条路:把熵解码、格点恢复、行缩放融合进同一个CUDA内核,省掉中间符号张量的读写。整个流程不需要激活校准,也不需要额外微调,这对工程落地很关键,少一道工序就少一层不确定性。

同样十GB,误差从9.41%降到4.26%

效果最直观的对比发生在Qwen-Image-2.1上。同样给10GB显存预算,NF4量化占用约8GB,权重重建误差9.41%;EntroPack用4.8bpp的精细配置把接近10GB的预算用满,误差降到4.26%。

放到生成图上,差别体现在细节:发饰的纹理、扇面的纹样、衣料的褶皱,NF4那一栏已经开始糊,4.8bpp那一栏更接近BF16原版。这类细节对商品图、角色设定图来说不是锦上添花,而是能不能交付的分界线。

在相近码率下,EntroPack的重建误差低于NF4、FP8、INT8等方案。它的4bpp配置存储4.02bpp、误差7.18%,比NF4的4.5bpp、9.41%体积更小、误差更低;8bpp配置误差0.54%,基本贴着原模型。

这些对比用的是同一套种子与提示词。数值指标看的是权重与输出的相对误差,观感指标还要看结构:压缩过度时最先崩的是小字、手指、织物纹理这些高频细节,而这些恰恰是商业图最容易被挑毛病的地方。

压到七分之一,画面还站得住

更值得注意的是它对极限的试探。传统量化大多止步于4位,再往下模型基本失效,EntroPack不受固定位宽限制。以Z-Image-Turbo为例,它把模型压到2.3bpp,体积降到原来的七分之一,生成图仍然保留了合理的构图与主要细节。

极限压缩的用法是混合配置:输入层、调制层这些对量化敏感的层保留3位以上精度,其他层压到2bpp左右。这套思路相当于把有限的精度预算分配给最影响画面的部分,而不是全模型一刀切。

风险也要说清楚。2.3bpp这样的码率适合做概念草图、构图确认,不适合交付终稿;一旦要求画面里出现可辨认的文字或精确的产品结构,压缩带来的模糊会被放大。码率可调的好处就在这里,同一套方案可以按用途给出不同答案。

它还能做二次压缩。先做FP8或INT8拿到固定格式的推理加速,再用EntroPack压一层,把体积控到预算内。MOSS-Image就是这么处理的,INT8权重被压到6bpp,配合计算图编译,单图推理速度接近两倍。

开源的不只是代码,还有预量化权重

代码、技术报告与使用文档都已公开,配套的预量化权重也一起放出,覆盖MOSS-Image、Qwen-Image-2.1、MiniMax-H3-Image、Z-Image-Turbo以及flux-3-image-klein,每个模型提供多种码率版本与INT8二次压缩版本。

生态接入也做了两条线:扩散模型走DiffSynth-Studio,大语言模型的量化训练走ms-swift。在Qwen3.8-27B的微调场景里,2bpp配置把模型从NF4的16.7GB降到10.57GB,单卡训练显存峰值从25GB降到19GB,24GB消费级显卡可以跑起来。

硬件侧,它支持NVIDIA、AMD与ZW-PPU等多种设备。这意味着同一套压缩方案可以在不同国产卡上复用,对做私有化部署的团队来说,迁移成本比换一套量化格式低得多。

当然,码率可调也带来新的选择题。压得越狠,细节损失越大,而损失的分布与具体模型、具体提示词都有关。真正要落地,还是得按自己的出图类型做一轮对比:电商白底图能接受4bpp,角色设定图可能就要5.5bpp以上。

素材来源:量子位、ModelScope魔搭社区、arXiv 发布时间:2026-11-21