11月5日，中国科学技术大学周少华教授、特任研究员熊鹏团队的开源RNA序列基础模型structRFM发表于《自然》。RNA是存在于细胞与部分病毒中的生物大分子，它的功能与序列、折叠结构密切相关：一条链通过碱基配对形成二级结构，再折叠成三维构象，构象决定了它能不能被结合、能不能被剪接、能不能被降解。想搞清楚这些，需要同时理解序列、结构与功能三者之间的关系，而这正是过去十年里靠实验一条一条攒出来的知识。
测序技术让RNA序列的数量迅速膨胀，公开数据库里的序列以亿计。但序列只告诉你字母顺序，不告诉你这条链会折成什么样。结构数据要靠冷冻电镜、核磁、晶体学这些手段做，一条一条地测，成本高、周期长，而且很多RNA在体外测出来的构象与细胞内并不一致。序列与结构之间的这道鸿沟，是所有RNA基础模型都要面对的起点。更麻烦的是，RNA不像DNA那样稳定：它在细胞里不断被转录、被剪接、被降解，同一条序列在不同时刻的状态可能完全不同，这让"一条序列对应一个结构"这个前提本身就带着折扣。
团队的思路借鉴了自然语言处理里的预训练：先用海量数据让模型学会语言的规律，再把学到的通用特征迁移到具体任务上。放到RNA上，问题变成怎么让模型在只看序列的时候也学到结构。他们的答案是构建一份规模足够大的配对数据，让序列与结构在预训练阶段就绑在一起，而不是等下游任务时再去拼接两个模型。
团队构建了约2100万条经计算注释的序列与二级结构配对数据。这里的关键词是计算注释：结构不是实验测定的，而是用算法从序列推出来的。这条路能规模化，代价是标注本身带着算法的方法误差，模型学到的是"当前最好算法认为的结构"，而不是"真实的结构"。团队没有回避这个前提，他们在此基础上设计了同时学习序列上下文与结构依赖的预训练算法，让两部分信息在同一轮训练里互相约束。
预训练完成之后，模型只需要输入序列，就能提取三个层级的特征：序列级、核苷酸级、核苷酸对级。这个设计对应RNA任务的实际需要：判断某条RNA属于哪个家族，是序列级的问题；找剪接位点，是核苷酸级的问题；预测哪两个碱基会配对，是核苷酸对级的问题。一个模型同时给出三种粒度的表示，下游就不必为每类任务各训一个专用模型。
论文报的结果分布很广。在零样本同源性分类中表现良好，也就是说模型在没有针对该任务微调的情况下，就能把序列分到正确的类别里。二级结构预测的性能有提升，把它的特征注入三级结构预测模型后，三维结构以及对应的二级结构预测结果都有改善。
功能推断侧覆盖了三类任务：剪接位点预测、内部核糖体进入位点识别、非编码RNA分类。剪接位点关系到一条基因能产生几种转录本，IRES关系到病毒RNA能不能绕过常规机制启动翻译，非编码RNA分类则是在海量测序结果里判断哪些片段有调控功能。三类任务的共同点是实验验证昂贵，先用模型筛一遍能省下大量湿实验。团队还测试了新发布的RNA家族，模型在这些训练时没见过的家族上仍保持了较好的二级结构预测表现，并通过分段策略把长非编码RNA的分类也覆盖了进去。
模型变好，原因可能有两个：参数更多，或者先验更对。团队用消融实验把这两者分开。他们验证了引入结构信息带来的性能提升，也验证了掩码策略的作用，两者都对结果有贡献。这个结论的分量在于，它说明提升不是靠堆规模换来的，而是因为模型在预训练阶段就被要求处理结构依赖，等于把领域知识写进了训练目标里。
这个区别对后续研究很实际。如果提升来自规模，那么跟进者只有一条路：加参数、加数据、加算力。如果提升来自先验，跟进者可以想别的办法把领域知识编进训练过程，成本低得多。蛋白质领域过去几年的经验也支持这一点：真正拉开差距的往往不是模型有多大，而是训练目标设计得对不对。反过来说，这也解释了为什么很多在通用榜单上分数很高的模型，一旦进到具体的生物任务里就表现平平：它们学到的是语言与图像的统计规律，而不是分子层面的约束。
团队开放了三样东西：完整的配对数据、模型权重、源代码。这三样里，最有价值的可能是第一样。过去两年开源模型很多，但完整开放训练数据的很少，原因是数据本身往往比权重更贵，也更涉及来源合规。2100万条带结构注释的RNA数据能被公开，意味着其他团队可以在这个基础上换模型结构、换训练目标、换下游任务，而不必从零开始造数据。
需要保持清醒的地方也有几处。计算注释的结构不是实验真值，模型在这个基础上学到的规律，遇到实验数据可能打折。RNA的修饰问题没有解决，同一条序列上的碱基被甲基化之后，结构与功能都会变，而现有数据里这类信息很少。另外，模型输出的是候选与假设，实验验证仍然不可替代，从预测到能用的分子，中间的合成、折叠验证、细胞活性测试，每一步都可能推翻前面的结论。开源让起点变低，但没有让终点变近。