原帖引用 · AI 翻译
@DeepnoteHQ，产品很棒。
@rohanpaul_ai 谢谢分享，@rohanpaul_ai 💙
原文
@rohanpaul_ai Thanks for sharing @rohanpaul_ai 💙
这是一个很棒的基准测试构想。
智能体工作空间公司 Deepnote（@deepnotehq）发布了 Agent Initiative Benchmark。这项测试将主动型智能体放入一家公司的 Slack，评估它们是否知道何时该参与、该说什么，以及何时该保持沉默。
GPT-6 Astra 以 8.97 分（满分 10 分）领先，GPT-6.1 Sol 以 8.65 分紧随其后，每项任务成本为 0.11 美元；排名第 3 的 Claude Fable 5.2 每项任务成本为 1.87 美元。
它让每个模型都经历相同的流程：
> 一个话题在模拟公司的 Slack 中开始
> 智能体决定是否采取行动
> 它选择要检查 11 项服务中的哪些，并展开调查
> 它发布消息并标记合适的人，或保持沉默
> 2 个大语言模型评估器根据参考答案，给这次运行打出 0 到 10 分
原文
This is a beautiful concept for a benchmark. Deepnote (@deepnotehq), an agent workspace company, released the Agent Initiative Benchmark, a test that drops proactive agents into a company Slack and scores whether they know when to jump in, what to say, and when to stay quiet. GPT-6 Astra led with 8.97 out of 10, and GPT-6.1 Sol followed at 8.65 for $0.11 per task, against $1.87 per task for third-placed Claude Fable 5.2. It runs every model through the same loop: > A thread starts in a simulated company’s Slack > The agent decides whether to act at all > It picks which of 11 services to check and investigates > It posts and tags the right people, or stays silent > Two LLM evaluators score the run 0 to 10 against a reference answer