aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

SWE-CoWork 发布编程智能体协作基准

AI 导读

SWE-CoWork 用模拟职场中的任务交接,测试编程智能体能否查找任务与文档、向队友询问信息,并在需求变化后修改代码。基准包含来自 101 个真实开源仓库的 101 项任务,还能追踪待澄清问题和已确认需求如何体现在对话、补丁与测试中。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

@TokenWaveai 这应该是个很实用的测试方法。 智能体可能实现了每一项新需求,却仍然破坏了旁边的功能。

回复TokenWave.AI@TokenWaveai
译文
编码智能体能接手队友正在进行的工作吗? 推出 SWE-CoWork:一个评测基准,用于评估编码智能体作为数字员工完成长周期软件工程任务的能力。 每项任务都以一次简短的工作交接开始,场景设在一个模拟职场中,其设计参照真实的软件工程工作流程。智能体搜索任务看板和带版本记录的文档,向队友询问缺失的细节,并在回复改变了需要开发的内容时修改代码。 在智能体交还工作之前,尚未解决的问题和已确认的需求都可能丢失。SWE-CoWork 让我们能够通过对话、代码补丁和测试追踪它们。 101 项任务,来自 101 个真实的开源代码仓库。 每个职场有 26 名模拟队友。 11 种编程语言。 12 个应用领域。 17 种职场工具。 🌐 网站:https://t.co/vyddiAIGDE 📄 论文:https://t.co/EPBQ5RjlGy 💻 代码:https://t.co/zU8wPB0Wir 🤗 Hugging Face Daily Papers:https://t.co/tAbAQZ4pKR(如果你觉得它有用,欢迎点赞!)
原文

Can a coding agent take over a teammate’s work in progress? Introducing SWE-CoWork, a benchmark for coding agents working as digital employees on long-horizon software engineering tasks. Each assignment starts with a short handoff in a simulated workplace modeled on real-world engineering workflows. Agents search task boards and versioned docs, ask teammates for missing details, and revise their code when a reply changes what needs to be built. Open questions and confirmed requirements can both be lost before the agent hands the work back. SWE-CoWork lets us trace them through the conversation, the patch, and the tests. 101 assignments across 101 real open-source repositories. 26 simulated teammates per workplace. 11 programming languages. 12 application domains. 17 workplace tools. 🌐 Website: https://t.co/vyddiAIGDE 📄 Paper: https://t.co/EPBQ5RjlGy 💻 Code: https://t.co/zU8wPB0Wir 🤗 Hugging Face Daily Papers: https://t.co/tAbAQZ4pKR (If you find it useful, we’d appreciate an upvote!)

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错