推理拆成两段来卖,一万颗专用解码芯片开始借服务器厂商渠道铺货

首页 / AI资讯 / 泛AI领域

0:00
0:00
1x
定时

大模型推理其实分两步:先把整段提示词读进去,理解上下文;再一个词元一个词元往外写答案。这两步对硬件的偏好完全不同,前者吃算力,后者吃内存带宽。11月3日,SambaNova与超微电脑宣布战略合作,把这两步拆开:英伟达GPU负责读提示词,SambaNova第五代可重构数据流单元SN50负责写答案,超微负责集成、验证、交付和现场支持,首批规划一万颗SN50。

推理被拆成两段,解码是内存瓶颈

预填充阶段处理的是输入,计算密集,GPU的并行能力正好用得上。解码阶段每生成一个词元都要把模型权重读一遍,瓶颈落在内存带宽上,算力再强也只能等着数据搬运。这就是常说的内存墙,模型越大,墙越厚。数据流架构的思路是让数据在计算单元之间按需流动,减少往返访存的次数,等于从架构层面绕开这堵墙。代价是编译器要承担更多工作,模型能不能高效映射上去,取决于软件栈的成熟度。

智能体负载让这个矛盾更突出。一次任务往往要往模型打上千次调用,每次调用可能跑几分钟,时间几乎全耗在解码上。这也是SambaNova敢把产品定位在解码环节的原因:它不需要在预填充上赢过GPU,只要在生成这一段更快、更省电,整条链路的端到端体验就能改善。这也解释了为什么这条产品线把指标放在每秒词元数和每词元成本上,而不是峰值算力。对采购方来说,判断标准因此变得具体:同样一段对话,谁能在更低的功耗下更快写完。

一万颗芯片,约625个机架

按SambaNova公布的机架密度,每个SambaRack可容纳16颗SN50,一万颗芯片大约对应625个机架。这个量级放在全球数据中心里不算大,大致相当于一个中型云计算园区的一角,但对一家尚未上市的芯片公司来说,是第一次有主流服务器厂商替它把货铺出去。

更关键的是部署条件。SN50的卖点之一是不需要极高的机架功率密度,这意味着它可以装进现有数据中心,而不必等新一代液冷机房建好。对客户来说,扩容的路径从等新机房变成加几个机架,时间差可能是一年。这也是SambaNova声称2027年能交付比原本更多推理算力的依据。625个机架这个数字还有一层含义,它把一条新闻翻译成了可核查的物理量。芯片公司的发布容易停在参数与倍数上,机架数一旦确定,供电、制冷、布线、交付周期都可以倒推。按每机架功率估算,整体功耗落在兆瓦级,这是现有园区能够承接的量级。

渠道比参数更重要

这颗芯片的性能参数并不是这条新闻的重点。真正的变化在渠道:过去客户要买SambaNova的方案,得直接和一家初创公司打交道,评估、采购、运维都要自己扛;现在它可以和GPU一起,从超微的目录里下单,由同一家供应商负责交付与现场服务。对一家还没进入主流采购目录的公司,这一步比多跑几个基准分更实际。

对一家挑战者公司,渠道的意义往往大于一代产品的性能提升。数据中心的采购决策链很长,客户不愿意为单个加速器引入新的供应商体系,尤其当这个供应商还没有大规模出货记录。挂进超微的数据中心构建模块方案之后,SN50从“一个新品类”变成了“一个可选项”,决策成本下降一个量级。渠道还改变了售后责任的分配。过去客户遇到问题要找芯片公司,现在第一道接口是服务器厂商,芯片公司退到二线做模型移植与调优。这种分工对小客户友好,对大客户则意味着要多一层协调。

为什么从新云和主权云开始

双方给出的推进顺序是先新云与主权云,再扩展到自建数据中心的企业。这个顺序符合这类产品的落地规律。新云对成本与功耗最敏感,愿意为更低的每词元成本尝试新架构;主权云有明确的本地化与供应链要求,更看重方案能不能在自己境内交付。换句话说,先找愿意为能效付溢价、又不受既有采购体系束缚的客户。

企业客户则慢得多。它们的推理负载往往混合了多种模型,采购流程要走完测试、招标、安全评估,任何一环出问题都会退回原点。更现实的是,企业机房里已有的GPU不会因为新芯片出现就淘汰,异构方案能不能与存量设备协同,才是它们最关心的问题。这也解释了为什么合作强调“与GPU并存”,而不是替代。主权云这个方向还牵涉出口与供应链,高端GPU的出口许可有明确门槛,专用推理芯片的管制口径不同,能不能本地交付往往取决于这类细节而不是性能。对希望把算力留在境内的地区,这是一个现实卖点。

这门生意的不确定性

第一是不透明。SambaNova尚未上市,营收、毛利、出货量都没有公开披露。一万颗是初始规划,不是已交付订单,客户名单与交付时间表也都没有公布。

第二是竞争。快速推理这个细分市场已经挤进了Groq、Cerebras等一批专用架构公司,同时还要面对谷歌TPU与英伟达下一代平台的挤压。专用架构的优势在能效,劣势在通用性,一旦主流GPU的内存带宽提上来,护城河会被削薄。

第三是母体的财务状态。超微最新一季初步营收约190亿美元,高于自身150亿美元的指引,但毛利率从18%降到约11%。营收冲高、毛利下滑的组合,说明它在用价格换规模。这种情况下,利润被压缩,投入新品类所需的工程资源会更紧张。

值得盯的三个信号是:超微在一万颗之后有没有追加订单,Oracle云上的合作有没有公开的企业部署案例,以及SambaNova是否走向上市。前两个决定这条渠道是真的通了,还是只铺了一次货;第三个决定它的估值能不能被公开财务数据检验。

素材来源:SambaNova官方新闻稿、StorageReview、AI产品库 发布时间:2026-11-09