原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
SemiAnalysis 发布了 GDPx,这是一项测试 AI 智能体在 11 个领域完成专家工作的能力的基准测试。
排名第一的模型是 Anthropic 的 Claude Opus 5.5,平均得分仅为 12%;其次是 Google 的 Gemini 4 Carbon,得分为 10.9%。
OpenAI 的 GPT-6 Astra 在 AI 研究和材料科学任务中排名第一。
这些任务涵盖芯片设计、网络安全、金融和法律等领域,来自 14 家专业数据合作伙伴。
与在提示词中向模型提供背景信息的 OpenAI GDPval 不同,GDPx 要求智能体自行检索工作空间中的资料,例如一个包含 3,983 个文件、仿照真实收购案构建的工作空间。
剔除安全分类器有时会介入的网络安全、生物学和对齐领域后,OpenAI 的 GPT-6 Astra 得分从 9.6% 升至 11.8%,超过了 Opus。
金融和法律任务难倒了所有模型:按通过或失败的标准评分,所有模型得分均为 0,因此 GDPx 改为报告部分得分。
在被要求改进一项有效的交易策略时,模型在 111 次尝试中的 70 次表现不如原策略,往往只是承担了更大的风险,而没有找到更好的交易机会。
· UTC+8