aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

SemiAnalysis 发布 GDPx 基准,测试 AI 智能体在 11 个领域完成专家任务的能力

AI 导读

GDPx 要求智能体自行查找工作区资料,而非由提示词直接提供背景。Anthropic 的 Claude Opus 5.5 平均得分为 12%,Google 的 Gemini 4 Carbon 为 10.9%;OpenAI 的 GPT-6 Astra 在 AI 研究和材料科学任务中领先。金融与法律任务中,所有模型在通过或失败的评分方式下均得 0 分。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

SemiAnalysis 发布了 GDPx,这是一项测试 AI 智能体在 11 个领域完成专家工作的能力的基准测试。

排名第一的模型是 Anthropic 的 Claude Opus 5.5,平均得分仅为 12%;其次是 Google 的 Gemini 4 Carbon,得分为 10.9%。

OpenAI 的 GPT-6 Astra 在 AI 研究和材料科学任务中排名第一。

这些任务涵盖芯片设计、网络安全、金融和法律等领域,来自 14 家专业数据合作伙伴。

与在提示词中向模型提供背景信息的 OpenAI GDPval 不同,GDPx 要求智能体自行检索工作空间中的资料,例如一个包含 3,983 个文件、仿照真实收购案构建的工作空间。

剔除安全分类器有时会介入的网络安全、生物学和对齐领域后,OpenAI 的 GPT-6 Astra 得分从 9.6% 升至 11.8%,超过了 Opus。

金融和法律任务难倒了所有模型:按通过或失败的标准评分,所有模型得分均为 0,因此 GDPx 改为报告部分得分。

在被要求改进一项有效的交易策略时,模型在 111 次尝试中的 70 次表现不如原策略,往往只是承担了更大的风险,而没有找到更好的交易机会。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错