NaiveAI 编程模型实测:高吞吐不等于总耗时更短

Latent Space6 天前

主打速度的开放权重编程模型

NaiveAI 推出的 Naive-N0.5-Flash 是一款面向 AI 编程任务的开放权重模型,核心目标是提高生成速度,缩短工程开发和研究中的迭代周期。其宣称的最高生成速度为每秒 2,100 个 token,但这一宣传值不能直接视为所有任务中的实测表现。

模型基于小米 MiMo-V2.5 继续训练,并搭配 NaiveAI 自研的 NaiveRT 推理引擎。MiMo-V2.5 采用稀疏混合专家架构,总参数量为3,100亿,每次激活约150亿参数,预训练使用了48万亿个 token。

NaiveAI 披露,后续多阶段训练增加了约3.25万亿个 token,并将模型适配至 DeepSeek Sparse Attention 层。其中约3万亿个 token 的训练采用固定的100万 token 上下文长度和恒定学习率。

编程基准:并非所有项目都领先

对比对象为 DeepSeek V4.1 Flash 1017 和 GLM-5.3-Flash。三款模型各自公开的基准成绩如下,并非同一次独立测试的结果:

模型 NL2Repo-Bench DeepSWE v1.1 Agent’s Last Exam
GLM-5.3-Flash 56.3 63.4 26.3
DeepSeek V4.1 Flash 1017 68.2 77.0 35.4
Naive-N0.5-Flash 71.9 67.8 32.4

Naive-N0.5-Flash 在 NL2Repo-Bench 上得分最高;在另外两项测试中,成绩位于 DeepSeek 与 GLM 之间。这些数字支持的是分项目比较,而不是“编程能力全面领先”的判断。

速度测试怎么做?

测试对每个模型使用了30道随机抽取的纯文本题目:

  • MATH-500:10道,作为较低难度组;
  • GPQA-Diamond:10道,作为中等难度组;
  • HLE-Diamond:10道,作为高难度组。

所有实验的最大补全长度统一设为256K token,记录生成吞吐、补全 token 总量和端到端响应时间。汇总统计覆盖每种配置下的30次成功请求。

吞吐数据的测量口径并不一致:DeepSeek 和 GLM 的数据取自 OpenRouter,NaiveAI 则采用服务端测量。因此,不能据此计算严格可比的速度倍数。

高吞吐的优势,会被长推理抵消吗?

Naive-N0.5-Flash 在两种思考配置下的报告吞吐接近或超过每秒1,000个 token。不过,开启思考后,部分复杂问题会触发非常长的输出。

在 HLE 高难度题目上,Naive-N0.5-Flash 开启思考后的平均补全长度约为 108,500 个 token,约为 GLM 高思考配置的9倍、DeepSeek 高思考配置的11倍。

这种长尾现象也体现在整体统计中:NaiveAI 开启思考后,30道题的补全长度中位数约为3,200个 token,平均值却超过51,000个 token。少数超长推理显著抬高了平均值。

从更贴近实际等待体验的端到端时间看:

配置 响应时间中位数 平均响应时间
Naive-N0.5-Flash,开启思考 3.1秒 45.3秒
GLM-5.3-Flash,高思考强度 5.3秒 86.9秒
DeepSeek V4.1 Flash 1017,高思考强度 10.1秒 45.0秒

NaiveAI 的响应时间中位数明显更短,但平均时间与 DeepSeek 接近。在高难度题目上,NaiveAI 平均耗时89.8秒,反而长于 DeepSeek 的79.7秒。

如何理解这些结果?

这组测试展示了一个重要区别:生成得快,不一定意味着整项任务完成得更快。 输出长度、推理策略和任务难度,都会影响最终等待时间。

同时,需要保留三点限制:

  1. 样本较小:每个难度组只有10道题,长尾请求容易影响平均值。
  2. 没有评估答案准确率:速度测试不能证明模型在这些题目上答得更好。
  3. 应用构建测试信息不完整:现有材料仅介绍了测试安排,没有提供完整结果,无法据此判断三款模型实际构建应用的优劣。

因此,目前更稳妥的判断是:Naive-N0.5-Flash 展现了较高的生成吞吐和较短的典型响应时间,但复杂任务中的超长推理可能抵消速度优势。选型时,应把吞吐、端到端耗时、答案质量和实际费用分开评估。

评论

请登录后发表观点

暂无数据