Original post · AI translation
Rohan Paul@rohanpaul_ai
Singularity-Bench 概览：6 项端到端任务覆盖智能体开发的各个环节。
智能体在固定预算内设计和实现系统，这些系统在相同硬件上与人类构建的参考系统进行比较评估。https://t.co/je74YzJCcM
卡内基梅隆大学的一篇新论文发现，Opus 5.5 + Claude Code 构建的预训练流水线、推理引擎和集群编排器，在相同 GPU 上达到了 SGLang 和 NVIDIA Dynamo 等生产工具的水平，或优于这些工具。
Singularity-Bench 为智能体提供了 6 项端到端任务，从预训练模型到构建服务引擎。每项成果都在相同 GPU 上与 SGLang 或 Claude Code 等生产系统比较评分。
Opus 5.5 的 Singularity-Index 得分为 1.25，其中 1 代表人类基准水平；其他 10 个智能体的平均得分为 0.58。其服务引擎每 GPU 小时获得 11.52 美元，而 SGLang 为 8.18 美元。
Original
New Carnegie Mellon paper finds that Opus 5.5 + Claude Code built a pre-training pipeline, an inference engine, and a cluster orchestrator that matched or beat production tools like SGLang and NVIDIA Dynamo on the same GPUs. Singularity-Bench gives agents 6 end-to-end jobs, from pre-training a model to building a serving engine. Each result is scored against a production system, such as SGLang or Claude Code, on the same GPUs. Opus 5.5 scored a Singularity-Index of 1.25, where 1 equals the human baselines, while the other 10 agents averaged 0.58. Its serving engine earned 11.52 USD per GPU-hour against 8.18 for SGLang.
· UTC+8