aifollow.news Search
Back Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · Original publication time AI score54

Google paper proposes task-specific harnesses for AI agentsMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI introduction

The Google paper describes OO-Harness, which uses task-specific agent harnesses and decides whether to switch after a base run. The reported score on AutomationBench business workflows was 77.41%, compared with 61.62% for the base harness and 63.92% for the global Meta-Harness method. On unfamiliar apps, it kept the base harness and recorded a 59.18% pass rate.

Original post · AI translation

@rohanpaul_ai
Translation · refer to the original

谷歌的一篇新论文表明,当每类任务都使用来自同一共享体系的专用代理运行框架,而不是使用 1 个全局统一框架时,智能体的得分更高。

智能体运行框架是围绕模型的提示词、工具和控制代码。大多数调优方法会演化出 1 个全局统一框架,尽管针对 1 类任务的修正可能损害另一类任务的表现。

OO-Harness 将运行框架作为代码类进行演化,每个专用框架都继承自一个父类,只修改其任务簇所需的部分。路由器读取一次常规基础框架运行的结果,然后选择一个专用框架,或保留基础框架的结果。

在面向业务工作流程的 AutomationBench 基准测试中,它的得分为 77.41%,基础框架为 61.62%,采用全局统一框架方法的 Meta-Harness 为 63.92%。在不熟悉的应用上,它保留基础框架,维持了 59.18% 的通过率,而 Meta-Harness 的全局统一框架的通过率降至 44.90%。

对于混合工作负载,应保留基础框架作为后备方案,仅在运行结果显示已知问题时才路由至专用框架。

来源:Rohan Paul · x.com

Research
Found an error? Send a correction