Article · AI translation
Artificial AnalysisK
所有文章
2026年11月10日
多模态知识智能体（MKA）基准测试：通过复杂视觉文件测试知识工作能力
查看排行榜
我们与Google DeepMind合作推出了其多模态知识智能体（MKA）评测。这是一项针对处理复杂视觉文件的智能体式知识工作的新基准测试。
Google DeepMind的MKA是一项新基准测试，要求智能体审阅示意图、扫描图像等视觉内容复杂的项目文件，并制作演示文稿、电子表格、报告和带标注的图像等交付成果。
多模态知识智能体（MKA）概览：
➤ 涵盖10个行业的200项非公开真实世界视觉任务：智能体需利用建筑图纸、工程示意图和临床扫描图像等信息密集的视觉项目文件，制作演示文稿、电子表格、PDF、Word文档和带标注的图像等交付成果。与许多智能体评测不同，这些输入材料着重体现真实的视觉复杂性和领域特异性，而且确实是完成任务所必需的，并非只是提供额外背景信息。
➤ Climb与Regression评分标准：每项任务均依据专家制定的评分标准评定，平均每项任务包含约70条加权标准。这些标准分为“Regression”（模型应通过的基础检查）和“Climb”（旨在区分强模型的更难检查）。主要分数为Climb WSR（加权满足率），即成功满足的Climb评分标准所占的加权比例。
➤ 在Stirrup中运行，并由智能体式评审评分：我们在开源智能体运行框架Stirrup中运行每项任务，提供代码执行、网页搜索、网页获取和图像查看工具（最多250轮），并使用GPT-6 Luna（medium）作为智能体式评审，对提交的交付成果评分。
MKA主要结果：
➤ Claude Fable 5.2在多模态知识工作方面领先：Anthropic近期发布的Claude Fable 5.2（max）以57%的Climb WSR位居MKA排行榜首位，其后是54%的Gemini 4 Carbon（high）和53%的Claude Opus 5.5（max）。
➤ 在与最高分相差10个百分点以内的模型中，每项任务成本相差近30倍：Claude Fable 5.2的平均每项任务成本为31.97美元，为Gemini 4 Carbon（6.29美元）的5倍多，而得分仅高约2个百分点；约为GPT-6.1 Sol（1.11美元）的29倍。在Carbon之下，参与测试的4款OpenAI模型均位于成本与性能的帕累托前沿（GPT-6 Astra、GPT-6.1 Sol、GPT-6.1 Terra和GPT-6 Luna），前沿上的其余模型为Claude Haiku 5.5和MiMo-V2.6-Pro。
➤ 没有单一模型在全部10个行业领域中领先：Claude Fable 5.2在5个领域领先（软件与数据、工程、物流与地图、商业，以及与Claude Sonnet 5.5并列领先的金融）；Claude Opus 5.5（max）在教育和建筑领域领先，Gemini 4 Argon（high）在科学领域领先，Gemini 4 Carbon（high）在医疗健康领域领先，Claude Sonnet 5.5（max）则在法律与政府领域以微弱优势领先。
➤ MKA的交付成果涵盖6种输出文件类型，各类型之间的表现存在一定差异，但差异小于各行业领域之间的差异：按Climb WSR衡量，Claude Fable 5.2在4种文件类型上领先（PDF、Word文档、以微弱优势领先的电子表格，以及与Claude Opus 5.5（max）并列领先的演示文稿）；Gemini 4 Argon（high）和Carbon（high）在图像类型上领先，DeepSeek V4.1 Flash 1017在文本文件类型上领先。Word文档和文本文件输出任务最难：没有模型在其中任何一种类型上达到超过52%的通过率。
感谢Google DeepMind团队构建这一基准测试，并与我们合作，使其在Artificial Analysis独家推出！
阅读最新文章
Meta的Muse Ember是智能指数得分达到36分的最便宜模型
Meta最新的模型Muse Ember在Artificial Analysis智能指数中得分为36分，与Claude Haiku 5.5（max）持平，而每项任务成本仅为后者的三分之一。
2026年11月9日
推出Artificial Analysis决策指数v2
推出Artificial Analysis决策指数v2：一项新的专有评测、更新后的基准测试，以及一项奖励模型校准能力的主要指标
2026年11月8日
VIALS-AA：科学图像推理的不同路径
独立的 VIALS-AA 结果、交互式智能体运行轨迹，以及对模型如何查看科学图像的分析。
2026 年 11 月 6 日