正文 · AI 翻译
Artificial AnalysisK
所有文章
2026年11月9日
我们推出 Artificial Analysis 端点准确性指数 v1.1。这是一次小版本升级，同时新增对 GLM-5.3 Flash 和 Muse Spark Open 的覆盖。在我们评测的 103 个无服务器端点中，24 个端点的得分在统计上低于我们自行托管的参考部署。
服务提供商会在准确性上作出取舍，以优化速度和成本。他们会量化权重、编写定制内核、调整推理技术栈并限制输出长度，有时也会发布带有缺陷的服务。端点准确性指数衡量每个端点保留了模型多少准确性，让开发者在选择提供商时，除了价格和速度，也能考虑准确性。v1.1 更新了 AA-LCR-25，以缩小置信区间并减少评分模型的错误；BFCL-500 和 HLE-250 保持不变。
v1.1 有哪些变化
AA-LCR-25 升级至数据集版本 1.1。新版本修正了 2 道题的答案，并使用更新后的相等性检查大语言模型评分。v1.1 下的 AA-LCR-25 原始分数不能与 v1.0 的分数直接比较。
AA-LCR-25 每道题重复运行 25 次，高于此前的 10 次。在两个版本下均接受评分的 48 个端点和参考部署中，AA-LCR-25 的平均 95% 置信区间从 ±4.7 分缩小至 ±2.6 分。
覆盖范围扩大至 6 个开放权重模型。我们新增 GLM-5.3 Flash 和 Muse Spark Open，并以 DeepSeek V4.1 Flash 1017 取代 DeepSeek V4 Pro。它们与 GLM-5.3、Kimi K3 和 gpt-oss-120b 一同纳入覆盖。GLM-5.2 不再纳入覆盖。
缩小 AA-LCR-25 的置信区间很重要，因为在 v1.0 的 3 项评估中，它的区间最宽（平均 ±4.6 分，而 BFCL-500 为 ±2.9 分，HLE-250 为 ±1.6 分）。在 v1.0 中，长上下文回忆评估中的噪声可能掩盖工具调用和推理能力上的真实差异。重复运行 25 次后，在两个版本下均接受评分的 45 个端点中，综合指数包含参考部署不确定性的置信区间平均从 ±5.5 分缩小至 ±4.3 分，综合指数平均变动 1.6 分。
v1.1 的评估项目：
评估项目测试内容任务数重复次数权重
BFCL-500工具调用50031/3
HLE-250科学推理250101/3
AA-LCR-25长上下文回忆（每道题约 100k 个输入 token）2525（此前为 10）1/3
指数如何计算
我们对每个端点和参考部署运行相同的 3 项评估，将每项评估的得分表示为参考结果的百分比，再对 3 项结果等权求平均。每项结果都附有根据各次重复运行的差异构建、并结合参考部署自身不确定性计算的 95% 置信区间。如果该区间包含 100，端点在统计上与参考部署相当；如果整个区间都低于 100，端点在统计上低于参考部署。
我们使用实验室官方发布的权重，以推荐精度自行托管每个参考部署，遵循实验室和服务框架提供的配置方案，并随每项结果公布完整的服务部署配置。v1.1 的参考部署在 NVIDIA B200、B300 或 GB200 系统上运行 vLLM 或 SGLang。我们采用每个模型支持的最高推理模式，以及每个端点支持的最大输出长度和上下文窗口。
结果反映的是特定时间点的情况。本文的 v1.1 结果测量于 2026 年 10 月 8 日至 11 月 4 日之间，每个端点的结果都标有各自的日期。
6 个模型的结果
模型端点数与参考部署相当低于参考部署指数范围
DeepSeek V4.1 Flash 10172222097.5 至 101.4
GLM-5.326161067.2 至 99.3
GLM-5.3 Flash2217578.6 至 104.2
gpt-oss-120b1611578.2 至 104.0
Kimi K31210291.0 至 101.5
Muse Spark Open53293.4 至 99.9
总计1037924
我们发现，导致结果低于参考部署的原因可分为 4 类：
输出 token 上限。将输出限制在 16K 至 32K 个 token 的端点，会在模型给出答案前截断较长的 HLE-250 推理过程。
推理较少。有些端点在请求设置与参考部署相同的情况下，产生的推理 token 明显更少，且并非由于截断，同时正确回答的 HLE-250 题目也更少。
工具调用处理。各端点解析和格式化工具调用的方式不同。若返回的参数类型错误、以纯文本形式返回，或参数名称损坏，就会在参考端点能够通过的 BFCL-500 任务中失败。
请求限制与流式输出行为。固定的请求超时，以及在模型完成前就结束的流式输出，会使耗时最长的推理回答无法完成。
有 1 个端点在 HLE-250 和 AA-LCR-25 上的得分低于参考端点，但我们未观察到输出截断或推理 token 数量减少。
对于原因已知的每个端点，其提供商页面上都有一条说明，描述我们观察到的情况。
GLM-5.3 Flash
GLM-5.3 Flash 纳入覆盖范围，共有 22 个端点。其中 17 个在统计意义上与参考端点持平，包括 1 个得分为 104.2 的端点；另有 5 个得分低于参考端点。
输出 token 上限限制了模型在复杂任务中的表现。2 个端点将输出限制在约 32K token，其约一半的 HLE-250 响应在给出答案前就达到上限。它们在 HLE-250 上的得分分别为 22.3% 和 28.5%，参考端点为 55.4%。
推理较少的端点给出的答案质量较低。2 个端点的每条 HLE-250 响应所产生的推理 token 比参考端点少约 30%，且没有发生截断；它们的得分分别为 48.4% 和 48.6%，参考端点为 55.4%。
工具参数类型会影响 BFCL-500 成绩。2 个端点将对象类型的工具参数作为 JSON 编码的文本返回，而不是作为对象返回，导致这些工具调用失败。
参考端点运行原生 FP8 权重。所有 3 个提供 FP4 权重的端点在统计意义上均与其持平，得分为 97.2 至 104.2。
完整结果：GLM-5.3 Flash - 端点准确度指数
Muse Spark Open
Muse Spark Open 纳入覆盖范围，共有 5 个端点，以 BF16 参考端点为基准进行衡量。
5 个端点中有 3 个与参考端点持平，得分为 99.5 至 99.9，其中包括 1 个提供 FP4 权重的端点。
另外 2 个端点仅在工具调用方面准确度下降。对于工具定义为文本的参数，例如预订 ID，两个端点都将其作为数字返回。这导致许多多轮任务失败；它们在 BFCL-500 上的得分分别为 49.9% 和 50.7%，参考端点为 59.1%。在 HLE-250 和 AA-LCR-25 上，它们与参考端点的得分差距均在 2 分以内。
完整结果：Muse Spark Open - 端点准确度指数
GLM-5.3
GLM-5.3 有 26 个端点纳入覆盖范围，得分为 67.2 至 99.3。其中 16 个在统计意义上与参考端点持平，10 个低于参考端点。
输出上限和重复推理循环解释了 3 个低于 80 的得分。16,384 token 的输出上限使 HLE-250 得分降至 7.6%，32,000 token 的上限使其降至 24.8%，而参考端点为 63.6%。在第 3 个端点上，大多数 HLE-250 响应陷入重复推理循环，在给出最终答案前就达到输出上限，得分为 19.6%。
工具调用处理方式使其他方面相近的端点表现出差异。3 个端点在 BFCL-500 上的得分为 50.7% 至 51.9%，参考端点为 57.3%。其中 1 个端点强制参数遵循工具模式中的顺序，并丢失部分参数；1 个损坏参数名称；另 1 个将对象参数作为文本返回。
FP4 权重服务的表现保持稳定。提供 FP4 权重的 6 个端点中，有 5 个在统计意义上与 FP8 参考端点持平，得分为 97.7 至 99.3。第 6 个是上述出现重复推理循环的端点。
完整结果：GLM-5.3 - 端点准确度指数
DeepSeek V4.1 Flash 1017
全部 22 个 DeepSeek V4.1 Flash 1017 端点在统计意义上均与参考端点持平，得分为 97.5 至 101.4，跨度为 3.9 分。在 HLE-250 上，各端点的得分均在 68.3% 至 71.7% 之间，参考端点为 71.4%。
完整结果：DeepSeek V4.1 Flash 1017 - 端点准确度指数
Kimi K3
Kimi K3 有 12 个端点纳入覆盖范围，其中 10 个在统计意义上与参考端点持平，得分为 97.1 至 101.5。
长时间推理需要较长的请求时限。在请求约 10 分钟后被中断的情况下，约 9% 的 HLE-250 请求在模型作答前就结束，HLE-250 得分降至 65.3%，参考端点为 72.1%。
工具调用 ID 在多轮对话中很重要。一个端点在同一对话的不同轮次中重复使用工具调用 ID，这与 OpenAI 的工具调用格式冲突。它在 BFCL-500 上的得分为 42.1%，而参考端点为 55.2%；其 HLE-250 和 AA-LCR-25 得分则与参考端点相差不超过 2 分。
完整结果：Kimi K3 - 端点准确性指数
gpt-oss-120b
对 16 个端点重新测量后，gpt-oss-120b 有 11 个端点的结果在统计意义上与参考端点一致，5 个低于参考端点。其置信区间比其他模型更宽（平均约为 ±7.5 分）。该指数将每项得分表示为相对于参考端点的数值，而 gpt-oss-120b 的参考端点得分较低（HLE-250 为 17.0%，BFCL-500 为 37.1%），因此相同的不同运行间波动会占得分更大的比例。
工具调用处理方式使端点表现出现差异。两个端点在 BFCL-500 上的得分分别为 21.3% 和 22.3%，而参考端点为 37.1%。其中一个将函数调用作为纯文本返回，而不是结构化工具调用；另一个则用 0 或 -1 等占位值填充可选参数。
输出上限截断了推理过程。当输出上限设为 16,384 个 token 时，HLE-250 得分降至 11.0%，而参考端点为 17.0%。
完整结果：gpt-oss-120b - 端点准确性指数
比较 v1.0 和 v1.1 的结果
在 v1.0 版本中，我们发布了 GLM-5.3、gpt-oss-120b 和 Kimi K3 在相同端点上的结果。对于两个版本都评分的 45 个端点，综合得分平均变化 1.6 分，10 个端点的分类发生变化：6 个从与参考端点一致变为低于参考端点，4 个从低于参考端点变为与参考端点一致。
方法说明页面在版本历史中列出了该指数的各个版本。评测套件发生变化时，我们会更新次要版本或主要版本；不同版本的结果无法直接比较。
查看结果
完整结果：GLM-5.3 Flash、Muse Spark Open、GLM-5.3、DeepSeek V4.1 Flash 1017、Kimi K3 和 gpt-oss-120b
方法说明与版本历史
本文展示的是截至 2026 年 11 月 9 日的数据。如需查看最新结果，请参阅各模型的提供商页面。
阅读最新文章
多模态知识智能体（MKA）基准测试：使用复杂视觉文件测试知识工作能力
我们与 Google DeepMind 合作推出了其多模态知识智能体（MKA）评测，这是一项针对处理复杂视觉文件的智能体式知识工作的全新基准测试
2026 年 11 月 10 日
Meta 的 Muse Ember 是智能指数得分达到 36 的最便宜模型
Meta 最新推出的模型 Muse Ember 在 Artificial Analysis 智能指数上得分为 36，与 Claude Haiku 5.5 (max) 持平，而单项任务成本仅为后者的三分之一
2026 年 11 月 9 日
推出 Artificial Analysis 决策指数 v2
推出 Artificial Analysis 决策指数 v2：一项新的专有评测、更新后的基准测试，以及一项奖励模型校准能力的主要指标
2026 年 11 月 8 日