原帖引用 · AI 翻译
SemiAnalysis 发布了 GDPx，这是一项测试 AI 智能体在 11 个领域完成专家级工作的基准测试。
排名第一的模型 Anthropic 的 Claude Opus 5.5 平均得分仅为 12%，其次是 Google 的 Gemini 4 Carbon，得分为 10.9%。
OpenAI 的 GPT-6 Astra 在 AI 研究和材料科学任务中排名第一。
这些任务涵盖芯片设计、网络安全、金融和法律等领域，来自 14 家专业数据合作伙伴。
与在提示词中向模型提供背景信息的 OpenAI GDPval 不同，GDPx 要求智能体自行查找工作区中的资料，例如一个包含 3,983 个文件、仿照真实收购案构建的工作区。
排除安全分类器有时会介入的网络安全、生物学和对齐领域后，OpenAI 的 GPT-6 Astra 得分从 9.6% 升至 11.8%，超过了 Opus。
金融和法律任务难倒了所有模型：按通过或失败的方式评分时，所有模型得分均为 0，因此 GDPx 改为报告部分得分。
在被要求改进一项有效的交易策略时，模型在 111 次尝试中有 70 次表现不如原策略，而且往往只是承担了更大的风险，并没有找到更好的交易机会。
原文
SemiAnalysis has released GDPx, a benchmark testing AI agents on expert work across 11 domains. The top model, Anthropic’s Claude Opus 5.5, averages just 12%, with Google’s Gemini 4 Carbon next at 10.9%. OpenAI’s GPT-6 Astra tops AI-research and materials-science tasks. The tasks, spanning chip design, cybersecurity, finance and law among others, come from 14 specialized data partners. Unlike OpenAI’s GDPval, which feeds models context in the prompt, GDPx makes agents dig through workspaces such as a 3,983-file replica of a real acquisition. Excluding cyber, biology and alignment, where safety classifiers sometimes intervene, lifts OpenAI’s GPT-6 Astra from 9.6% to 11.8%, past Opus. Finance and law defeat every model: all score 0 under pass-fail grading, so GDPx reports partial credit instead. Asked to improve a working trading strategy, models did worse than the original in 70 of 111 attempts, often just taking bigger risks instead of finding better trades.