Original post · AI translation
Rohan Paul@rohanpaul_ai
谷歌的一篇新论文发现，表现最好的 AI 智能体在实体工程任务上的得分仅为 50.6%，通常是因为遗漏了一条严格的安全或可行性规则。
面向大语言模型的工程基准测试大多考查教科书式问题或简单的模拟问题，而顶尖智能体已经能很好地处理这些问题。真正的工程师要处理大量 PDF、电子表格和 CAD 文件，并且必须拿出符合规范且成本低廉的设计。
他们构建了 PLE，其中包含 85 项由执业工程师编写或核查的电气、土木、结构和机械工程任务。智能体每项任务必须阅读约 61 份项目文件，并交付进度表、报告或 2D 和 3D 图纸。
在 14 个模型中，Claude Code 中的 Claude Opus 5.5 以 50.6% 的得分排名第一，每项任务使用 27M 个词元，耗时 63 分钟。在设计任务中，其输出满足了 91% 的约束条件，但只有 41.3% 满足了全部硬性约束。
如果你构建工程智能体，应根据严格的安全要求和规范限制把关每项设计，并在调整智能体框架之前，先花精力选择模型。
· UTC+8