aifollow.news
Back Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · Original publication time AI score54

Carnegie Mellon paper reports Opus 5.5 exceeds human baseline on AI systems benchmarkMachine translation

AI introduction

Singularity-Bench tasks agents with six end-to-end jobs, including a pre-training pipeline and a serving engine, and compares results with production systems on the same GPUs. The material reports a Singularity-Index of 1.25 for Opus 5.5, versus a human baseline of 1; its serving engine earned USD 11.52 per GPU-hour, versus USD 8.18 for SGLang.

Original post · AI translation

@rohanpaul_ai
Translation · refer to the original

卡内基梅隆大学的一篇新论文发现,Opus 5.5 + Claude Code 构建的预训练流水线、推理引擎和集群编排器,在相同的 GPU 上达到了 SGLang 和 NVIDIA Dynamo 等生产工具的水平,或优于这些工具。

Singularity-Bench 为智能体提供 6 项端到端任务,从预训练模型到构建服务引擎。每项结果都在相同的 GPU 上与 SGLang 或 Claude Code 等生产系统进行对比评分。

Opus 5.5 的 Singularity-Index 得分为 1.25,其中 1 代表人类基准水平,而其他 10 个智能体的平均得分为 0.58。其服务引擎每 GPU 小时获得 11.52 美元,SGLang 则为 8.18 美元。

Source: Rohan Paul · x.com

Research
Found an error? Send a correction