正文 · AI 翻译
Artificial AnalysisK
所有文章
2026 年 10 月 27 日
宣布推出 Artificial Analysis 智能指数 v5
指数 v5 新增 2 项基准测试，并升级 3 项基准测试。该指数首次有超过一半的内容基于私有数据集构建
Artificial Analysis 智能指数是我们衡量模型在反映当今实际使用场景的各类任务中能力的综合指标。v5 是自 v4 于 1 月推出以来幅度最大的一次升级。升级至 v5 后，指数中 60% 的内容基于使用私有测试集或未公开答案的评估。
在推出智能指数 v5 的同时，我们还推出 Artificial Analysis 进展指数 v1，用一条连续的标尺追踪模型能力随时间的变化。
智能指数新增项目：
➤ FrontierCode 2.0：Cognition 新推出的私有基准测试，包含真实场景中的编程任务，评分依据是代码仓库维护者是否会合并智能体所做的修改
➤ Terminal-Bench-Science：70 项在终端环境中执行的智能体科学研究任务
升级项目：
➤ HLE-Diamond（取代 Humanity's Last Exam）：Humanity's Last Exam 的精炼版，包含 1,000 道题，推理题和知识题各占一半
➤ AA-Omniscience v1.1：更新后的数据集，移除了得分已趋于饱和的题目和公开题集中的题目，新增了题目，并修订了含糊或有错误的题目
➤ CritPt v2：CritPt v2 中由 40 道高难度题组成的私有子集，经 CritPt 作者修订，并使用代码执行工具运行
继续保留在指数中的项目：AA-Briefcase、AutomationBench-AA、GDP.pdf 和 Terminal-Bench 4.0
从指数中移除的项目：GDPval-AA v2.1、SciCode 和 AA-LCR v1.1
智能指数 v5 的权重：
➤ 知识工作（25%）：AA-Briefcase（15%）、AutomationBench-AA（5%）和 GDP.pdf（5%）
➤ 编程（25%）：FrontierCode 2.0（15%）和 Terminal-Bench 4.0（10%）
➤ 科学（25%）：Terminal-Bench-Science（15%）和 CritPt v2 高难度子集（10%）
➤ 通用（25%）：AA-Omniscience v1.1 占 15%（准确率占 10%，非幻觉表现占 5%），HLE-Diamond 占 10%
主要结果：
➤ Claude Opus 5.5（max）以 58 分领先，超过 GPT-6 Astra（max，57 分）和 GPT-6.1 Sol（max，55 分）：排名前 5 的模型均来自 Anthropic 和 OpenAI。紧随其后的是得分为 50 的 Gemini 4 Argon（high）
➤ 开放权重模型与领先模型的差距从 3 分扩大到 12 分：Kimi K3.1 Pro（权重尚未发布）以 46 分成为得分最高的开放权重模型。在已发布权重的模型中，DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）以 32 分领先，落后榜首 26 分，也低于 Claude Haiku 5.5（max，36 分）
➤ 领先模型之间的单项任务成本相差超过 13 倍：在图中得分最高的 10 个模型中，GPT-6.1 Terra（max）最便宜，智能指数每项任务成本为 0.96 美元；Claude Fable 5.1（max）最贵，为 13.04 美元
FrontierCode 2.0 是 Cognition 私有编程基准测试的最新版本。该基准测试于今天早些时候推出，包含真实开源代码仓库中的 132 项任务，评分依据是维护者是否会合并智能体所做的修改。只要有任何一项阻断性检查未通过，该次尝试就得 0 分；任务保持私有，以避免数据污染。我们使用智能体运行框架 Stirrup 将每项任务运行 3 次。
Claude Opus 5.5（max）以 46% 领先，随后是 GPT-6 Astra（max）、GPT-6.1 Terra（max）和 Claude Sonnet 5.5（max），均为 42%。DeepSeek V4.1 Flash 1017（max）是得分最高的开放权重模型，得分为 28%，落后榜首 18 个百分点。
Terminal-Bench-Science 测试智能体能否在终端中完成科学研究工作流程。专家对每项任务进行设计和审查；只有一项任务的所有测试都通过，该任务才算通过。
GPT-6 Astra（max）以 63% 领先，随后是得分为 59% 的 Claude Opus 5.5（max）和得分为 58% 的 GPT-6.1 Sol（max）。领先模型之后的得分急剧下降：得分最高的开放权重模型 Kimi K3.1 Pro（权重尚未发布）得分为 34%，Claude Haiku 5.5（max）得分为 20%。在权重已发布的开放权重模型中，得分最高的 DeepSeek V4.1 Flash 1017（max）得分为 13%；我们测试的大多数开放权重模型得分低于 10%。
HLE-Diamond 在指数中取代了 Humanity's Last Exam。它是由人工智能安全中心（CAIS）和 Scale AI 推出的 Humanity's Last Exam 的精炼版，包含 1,000 道题，推理题与知识题各占一半。Claude Opus 5.5（max）以 68% 领先，其次是 GPT-6 Astra（max）的 64% 和 Claude Fable 5.1（max）的 60%。
对领先模型来说，知识题比推理题更难：Claude Opus 5.5（max）和 GPT-6 Astra（max）的推理题得分均为 78%，知识题得分则分别为 58% 和 50%。
AA-Omniscience v1.1 是我们知识与幻觉基准的清理版，移除了已趋于饱和的题目和公开题集中的题目，增加了新题，并修订了含糊或有误的题目。得分与 v1 大体一致；模型在 AA-Omniscience v1.1 指数上的得分平均低 2 分（中位数为 0.6 分）。我们还在 Hugging Face 上发布了新的公开子集 AA-Omniscience-Public-v1.1，并重新校准，使公开题集与私有题集在准确率、幻觉率和整体表现上保持一致。
该指数使用一个私有的 40 道难题子集对 CritPt v2 评分：从 70 道研究级物理题中，减去 7 个前沿模型在发布时的全部 5 次尝试中都解出的 30 道题。模型在我们的智能体运行框架 Stirrup 中的离线 Python 沙盒里作答。
GPT-6 Astra 在高努力设置下以 72% 领先，其次是 GPT-6.1 Sol 在最高努力设置下的 69%。指数总榜排名第一的 Claude Opus 5.5（max）得分为 61%。Kimi K3.1 Pro（权重尚未发布）是得分最高的开放权重模型，得分为 45%。
v5 的全部 9 项评测仍有显著的进步空间，没有任何单一模型在所有评测中都领先。在我们测评的模型中，Claude Opus 5.5 领先其中 3 项，另外 5 个模型分别领先其余 6 项：
➤ Claude Opus 5.5：FrontierCode 2.0（46%）、HLE-Diamond（68%）和 AA-Omniscience v1.1（48）
➤ GPT-6 Astra：Terminal-Bench-Science（63%）和 CritPt v2 难题子集（72%）
➤ Claude Sonnet 5.5：AA-Briefcase（1812 Elo）
➤ Kimi K3.1 Pro：Terminal-Bench 4.0（67%）
➤ Gemini 4 Argon：AutomationBench-AA（78%）
➤ Muse Wonder Full：GDP.pdf（全部通过率 33%）
开放权重模型在 v5 中进一步落后。其中表现最好的 Kimi K3.1 Pro（权重尚未发布）得分为 46，比领先模型低 12 分；v4.3 中的差距为 3 分。在已发布权重的模型中，DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）以 32 分并列最高，而 Claude Haiku 5.5（max）的得分超过了所有这些模型。
差距在 HLE-Diamond 和 Terminal-Bench-Science 上最大：Kimi K3.1 Pro 分别得到 37% 和 34%，而 Claude Opus 5.5（max）在前者得到 68%，GPT-6 Astra（max）在后者得到 63%。
领先模型之间的成本差异很大。Claude Opus 5.5（max）每项 Intelligence Index 任务的成本为 10.04 美元，GPT-6 Astra（max）为 6.24 美元，GPT-6.1 Sol（max）为 1.27 美元。GPT-6.1 Sol（max）的得分与 Claude Opus 5.5（max）相差不到 4 分，而每项任务的成本约为后者的 1/8。
努力程度设置在 v5 中的影响比在 v4.3 中更大。Claude Opus 5.5 在低努力设置下得分为 35，在最高努力设置下为 58，而每项 Intelligence Index 任务的成本增加到 10 倍（0.98 美元对 10.04 美元）。Claude Sonnet 5.5 从低努力到最高努力设置的得分相差 29 分，高于 v4.3 中的 20 分；GPT-6.1 Sol 的分差则从 10 分翻倍至 20 分。
v5 的任务要求模型完成多得多的工作。我们测评的每个模型在每项 Intelligence Index 任务中生成的输出 token 数都比 v4.3 更多，中位数增加了 2/3，从 35k 升至 59k。
➤ 智能体评测占用了大部分 token：Terminal-Bench-Science、Terminal-Bench 4.0、AA-Briefcase 和 FrontierCode 2.0 占指数权重的 55%，但占输出 token 的中位比例约为 90%
➤ Terminal-Bench-Science 的 token 消耗最多：它单独就占每项任务输出 token 数的约 1/3
在推出 v5 的同时，我们还推出了 Artificial Analysis Progress Index v1。它将自 2022 年 11 月以来发布的语言模型置于同一能力尺度上，涵盖范围广泛的基准测试。
使用进展指数比较底层能力随时间的变化，包括比较相隔数年发布的模型。若要比较模型在当前使用场景中的表现并了解目前的前沿水平，请使用智能指数；它仍是我们衡量当前模型智能水平的主要指标。
感谢 Epoch AI 和 Anthropic——我们在设计进展指数时借鉴了 Epoch 能力指数的经验。
探索进展指数：artificialanalysis.ai/trends
方法论：artificialanalysis.ai/methodology/progress-index
感谢 Cognition、Steven Dillmann 和 Terminal-Bench 团队、Center for AI Safety、Scale AI，以及 Minhui Zhu、Minyang Tian、Hao Peng 和 CritPt 团队提供本次更新所依据的基准测试。
查看完整结果：artificialanalysis.ai
方法论：artificialanalysis.ai/methodology/intelligence-benchmarking
阅读最新内容
Code2Video-AA：AI 模型用代码设计视频的能力如何？
Artificial Analysis 对 HeyGen 的 Code2Video Bench 的实现：评估模型使用 HyperFrames HTML，根据 114 份设计简报制作简短产品及品牌视频的能力。
2026 年 10 月 26 日
GPT-6.1 Terra 推进成本效率前沿
OpenAI 发布了 GPT-6.1 Terra，推进了成本效率前沿。这是自 GPT-5.6 以来首个 Terra 级模型，智能水平更高，成本却不到其三分之一。
2026 年 10 月 26 日
Kimi K3.1 Pro 发布时位列智能指数第 4 名，并将领跑开放权重模型
Kimi K3.1 Pro 发布时位列 Artificial Analysis 智能指数第 4 名，并将领跑开放权重模型
2026 年 10 月 23 日