Original post · AI translation
这是一个很棒的基准测试构想。
智能体工作空间公司 Deepnote（@deepnotehq）发布了 Agent Initiative Benchmark。这项测试将主动型智能体放入一家公司的 Slack 中，评估它们是否知道何时介入、该说什么，以及何时保持沉默。
GPT-6 Astra 以 10 分制中的 8.97 分领先，GPT-6.1 Sol 以 8.65 分紧随其后，每项任务成本为 0.11 美元；排名第 3 的 Claude Fable 5.2 每项任务成本为 1.87 美元。
它让每个模型经历相同的流程：
> 一个话题帖在模拟公司的 Slack 中开始 > 智能体决定是否采取行动 > 它从 11 项服务中选择要查看的服务并展开调查 > 它发帖并标记合适的人，或保持沉默 > 2 个大语言模型评估器根据参考答案，给这次运行打出 0 到 10 分
哪种模型最适合主动型智能体？
今天，我们推出 Agent Initiative Benchmark。我们在一家拥有 6 年详尽历史记录的虚构公司中，针对真实的职场任务测试了 12 个前沿模型：这家公司有财务模型、CRM 记录、逾期发票、Linear 工单，以及影响公司发展的现实事件——竞争对手发布产品、硅谷银行（SVB）倒闭等。
我们利用这家公司的 Slack，测试一个旁听每段对话的主动型智能体会如何协助团队处理日常任务：从主动介入、协调跨团队的工作，到提醒团队不要使用未经批准的客户标志。
要点：
- @OpenAIDevs 的 6.1 Sol 和 Astra 击败了 Anthropic 最新的 Fable 5.2，其中 Sol 在性能和成本上都表现出色（每项任务 0.11 美元，对比 1.87 美元）。
- 最贵的模型并非最好的：Fable 5.1 的成本是 GPT-6 Luna 的 430 倍，但性能相近。
- 大多数模型即使在不需要帮助时也会尝试提供帮助。有意思的是，在这些失败案例中，它们花了更多时间思考，而这些不必要的工作所耗费的时间和金钱，比保持沉默多约 80%。
如果你正在构建智能体，请继续阅读，了解更多关于哪种模型最适合你的使用场景的建议。详细分析、开源数据集和基准测试代码见下文：
Original
What’s the best model for proactive agents? Today, we’re introducing the Agent Initiative Benchmark. We tested 12 frontier models on realistic workplace tasks inside a synthetic company with 6 years of highly detailed history: it has a financial model, CRM records, past-due invoices, Linear tickets, and real-life events affecting company development - competitor product announcements, SVB collapse, etc. We used the company’s Slack to test how a proactive agent listening in on each conversation would assist the team in day-to-day tasks: from stepping in to align initiatives across teams to warning the team not to use an unapproved customer logo. Highlights: - 6.1 Sol and Astra from @OpenAIDevs beat Anthropic's latest Fable 5.2, with Sol crushing it at both performance and cost ($0.11 per task vs $1.87). - The most expensive models aren't the best: Fable 5.1 is 430x more expensive than GPT-6 Luna, with similar performance. - Most models try to help even if they're not needed. Interestingly, in these failure cases, they spend more time thinking, and the unnecessary work takes about 80% more time and money than if they stayed quiet. If you’re building agents, keep reading for more tips on which model is best for your use case. Detailed breakdown, the open-source dataset, and benchmark code below: