用AI写歌最让人沮丧的地方,是它像一个黑盒老虎机:输入歌词点一下生成,出来的旋律还行,副歌那个和弦却怎么听都别扭,而你能做的只有再抽一次。9月,香港科技大学联合M-A-P团队开源了音乐生成模型YuE2,试图改变这套交互逻辑。它不急着出声,而是先生成一份用ABC记谱法写成的旋律与和弦,确认无误后,再把这份乐谱渲染成48kHz立体声的完整歌曲,包含人声与伴奏。团队把这种做法称为白盒创作,因为中间的乐谱是看得见、也改得了的,创作者终于拿到了修改的入口。
在传统流程里,AI音乐生成是一步到位的:歌词与风格提示进去,音频出来,中间过程不可见。YuE2把这一步拆成两段,先生成符号化的乐谱,再决定要不要让它唱出来。用户拿到ABC文本后,有两条修改路径可选,覆盖了从轻量调整到专业精修的不同需求。
第一条是直接改文本。复制模型输出的ABC内容,手动调整音符、和弦、节拍与速度,再丢回YuE2重新渲染,就能得到改动后的音频。第二条是借用专业工具:把ABC文件转成打谱软件可识别的格式,在打谱软件里精修后再转回ABC,最后粘贴回模型渲染。两种方式都指向同一个结果,创作者不必再为了改一个和弦而重写整首歌,修改的粒度也从整首歌曲细化到单个小节。
支撑这套流程的,是一个约35.9亿参数的自回归与非自回归混合模型。两类专家各管一段:自回归专家负责写谱与生成语义标记,把音乐的骨架以符号形式表达出来;非自回归专家则用流匹配方式生成声学潜变量,负责把符号转成声音。最后由变分自编码器把这些潜变量解码成音频波形,完成从谱面到声音的落地。
这种分工是白盒能力的技术前提。符号层与声学层被拆开,意味着修改可以发生在更靠前的抽象层级上,而不必动到波形。对创作者而言,这相当于多了一道可以在生成与成品之间自由往返的接口,也让AI音乐从一次性输出变成可以反复迭代的草稿系统。工程上,把两类生成任务分开,也让模型在各自擅长的环节上更容易优化,不必用同一套参数同时兼顾结构规划与音质还原。
YuE2还配套了乐谱识别工具SheetSage2,可以把一段录音转成乐谱,再换风格或换词重新演绎,整个过程不需要为翻唱专门微调模型。团队给出的对比数据很有说服力:带谱翻唱的身份保留度达到0.647,而不带谱的翻唱只有0.006,两者相差超过一百倍。
这个差距说明,声音与旋律的相似性并不只来自音色,也高度依赖结构信息的对齐。当模型掌握了原曲的谱面结构,它更容易在保留作品辨识度的同时完成风格迁移;反之,仅靠音频模仿往往会丢掉让听众认得出的关键特征,结果就是听起来像但认不出。对需要做多语种版本或改编版的创作者来说,这条路径比直接音频到音频更可控,也更便于在授权框架下说明改动的边界。
把这套机制放到行业趋势里看,它回应的是一个越来越明显的需求:AI音乐正在从生成工具变成生产工具。创作者不再满足于一次生成一首能听的歌,而是希望在同一个作品上反复打磨,像在专业宿主软件里那样修改某个段落,而不影响其余部分。可编辑的中间表示,正是实现这一点的必要环节,也是AI音乐进入专业制作流程的门票。
当然,开源模型距离成熟的商业工作流仍有距离。它需要使用者理解ABC记谱法,也需要额外的渲染与导出环节,学习成本不低,工具链的稳定性也还有待社区打磨。但它至少证明了一件事:AI音乐不必然是黑盒。当乐谱、音频与修改操作之间建立起清晰的映射,AI就从一个替你写歌的机器,变成一个能听懂你改动的合作者,而这恰恰是专业创作者最在意的能力。对国内的音乐工具团队来说,这条开源路线也提供了一个可复用的技术参照。
把模型开源,短期能迅速聚集使用者与贡献者,长期却要回答商业化的问题。对音乐生成这类工具而言,可持续的路径通常有几条:面向专业用户提供托管推理与更高音质渲染的付费服务;把乐谱编辑、母带处理与分发对接做成工作流产品;或者以授权方式向影视、广告与游戏客户提供定制化生成能力。开源版本负责建立标准与生态,增值环节负责回收成本。
与此同时,版权与授权的问题无法回避。训练数据中若包含受保护的音乐作品,生成结果与既有作品之间的相似度就可能引发争议。较稳妥的做法是提供相似度检测与来源说明能力,让使用者在发布前能判断风险,并在授权框架内使用。对开源项目来说,这类配套工具往往比模型本身更能决定它能否被商业客户接受。
把符号乐谱作为生成与渲染之间的中间层,思路并不局限于音乐。图像领域的分层输出、三维领域的结构化网格,本质上都是把一次性输出拆成可编辑的中间表示,从而让创作者能介入修改。这条路线一旦被验证有效,很可能会成为生成式工具的标准架构,因为它同时满足了可解释、可编辑与可复用三个需求。
对行业而言,真正的价值在于接口的标准化。如果不同的生成模型都能输出同一套乐谱格式,创作者就可以在多个模型之间自由切换,把某个模型擅长的旋律与另一个模型擅长的编曲组合起来。这种可组合性会改变工具之间的竞争关系,从争夺用户转向争夺中间格式的定义权,而谁能定义格式,谁就掌握了生态的入口。