11月10日，硅谷人工智能工程媒体Latent Space开设了一个新的模型实测栏目，首期没有选大厂旗舰，而是选了中国公司NaiveAI的开源模型Naive-N0.5-Flash，对照组是OpenRouter上调用量靠前的DeepSeek V4.1 Flash 1017与GLM 5.3 Flash。三家放在同一张桌子上比，结论并不极端：综合能力上这个新模型处在两者之间，但在两项具体指标上拉开了距离。对一个刚进入公众视野的团队来说，被拿来当对照组本身就已经是一种位置确认。
71.9分是如何被拉开的
先看分数。在NL2Repo-Bench上，Naive-N0.5-Flash拿到71.9分，比DeepSeek的对照模型高3.7分，比GLM的对照模型高15.6分。这个基准考的不是单函数补全，而是给一段自然语言需求，让模型产出一个能跑起来的仓库级工程：目录结构、依赖、入口、测试都要自己安排，最后以能否运行、行为是否符合需求来判定。这类任务的难点在于长程一致性，模型在第三十个文件时还要记得第一个文件里定义的接口，中途任何一次自作主张的改名都会让整包跑不起来。
分数差距放在这个语境里就有了含义。3.7分不算压倒性，但说明在长链条工程任务上它比同档对手更少犯结构性错误；15.6分的差距则更像是能力层级不同。需要注意的是，这类公开基准都有污染风险，训练数据里是否出现过相近的题目无法完全排除，所以更稳妥的读法是：它至少具备完成这类任务的能力，而不是它一定比对手聪明。
2100个词元与3.1秒，速度成为产品属性
更硬的差异在速度。实测单秒峰值约2100个词元，开启思考模式后的中位响应时间为3.1秒，同一条件下DeepSeek的对照模型是10.1秒。把这两个数字放在一起，能推出一个不太显眼但很关键的事实：它并不是靠少想一会儿换来的快。思考模式是开着的，只是思考链更短、或者推理调度更紧凑。对写代码的人来说，3.1秒与10.1秒的区别不是等待体验，而是交互节奏：前者允许你一边读需求一边改提示，后者会让思路断掉。
速度为什么在这个阶段变得重要，跟使用形态有关。智能体编程的每一步都要发一次请求，一个中等规模的重构可能涉及几十次调用，单次延迟会被放大成几分钟的差距。当模型能力差距缩小到几个百分点时，延迟与单位成本就成了选型的第一道筛子。这也是为什么最近半年新模型发布时，越来越多团队先报吞吐与首字延迟，再报跑分。速度不再是工程细节，它已经变成产品的一部分。
模型自己参与造模型这件事
公开信息里有一句容易被跳过的话：该模型的架构、训练系统与推理优化均由人工智能参与研发。这句话的分量取决于参与程度。如果只是用模型辅助写训练脚本、生成配置文件、做超参搜索，那属于常规的工程提效；如果连架构候选的筛选、并行策略的选择、推理内核的调度都由模型提出并被采纳，那就意味着研发流程本身变成了一个可以递归改进的系统。
这种做法的好处直接体现在迭代速度上：人力受限的团队可以用更少的人跑更多轮实验。代价是透明度下降，外界很难判断某个设计是人的判断还是搜索的结果，出了问题也更难归因。对使用者来说，短期影响其实很小，因为开源权重与推理代码是可以拿下来自己跑、自己做回归测试的。真正需要留意的是后续版本：如果能力提升主要来自自动化搜索，那么版本之间的能力分布可能出现不连续的跳变，而不是平滑进步。
第三方实测为什么比发布会更有用
把三个模型放进同一套题目里连续跑，这件事本身有方法论价值。发布会演示永远选择最有利的样本，跑分表也永远由发布方提供，读者无法判断成绩是在什么温度、什么提示词、什么采样参数下取得的。第三方栏目至少要公开对照组、任务类型与响应时间口径，才可能让人复算。它当然也可能有自己的偏好，但把对手请上同一张桌子，就已经把一部分水分挤掉了。
对国内团队来说，被连续测试是一种压力测试。第一批成绩可以被认真对待，但真正说明问题的是第二批、第三批：一个版本速度快，下一个版本如果为了刷分把延迟拉到十几秒，前一次的优势就会被抵消；一个版本在仓库级任务上领先，下一个版本如果上下文变短、依赖处理退步，用户会立刻发现。开源模型的好处是这些都能被外部验证，权重下载下来自己跑一遍，几小时就能得出结论，不必依赖任何一方的说法。
介于两者之间，意味着一个真实的选择题
回到最初的结论：综合能力介于DeepSeek与GLM的同档模型之间，仓库级任务领先，速度明显更快。这构成一个很具体的采购场景。如果任务是长链路工程改造、需要频繁交互，它的速度优势会转化成实际工时；如果任务是知识密集的复杂推理，它的中间位置就不构成优势，用户仍然会选更稳的那一档。开源还把另一条路打开了：把它部署在自己的机器上，用私有仓库的代码做微调，代价是要自己承担推理成本与运维。
对国产开源梯队来说，这次实测的意义不在名次，而在被放进了一个可比的坐标系。过去一年中国模型出海多是靠单点爆款被讨论，现在开始出现一批能力接近、各有侧重的模型被第三方用同一套题目连续测试。这种连续测试比任何发布会都更能说明问题，因为它会暴露版本之间的退步，也会让宣传口径无处躲藏。接下来真正值得看的是两件事：这个模型在更长上下文与更复杂依赖的项目上能否保持一致性，以及下一版会不会把速度优势换成了别的取舍。
