Original post · AI translation
谷歌的一篇新论文表明,当每类任务都使用来自同一共享体系的专用代理运行框架,而不是使用 1 个全局统一框架时,智能体的得分更高。
智能体运行框架是围绕模型的提示词、工具和控制代码。大多数调优方法会演化出 1 个全局统一框架,尽管针对 1 类任务的修正可能损害另一类任务的表现。
OO-Harness 将运行框架作为代码类进行演化,每个专用框架都继承自一个父类,只修改其任务簇所需的部分。路由器读取一次常规基础框架运行的结果,然后选择一个专用框架,或保留基础框架的结果。
在面向业务工作流程的 AutomationBench 基准测试中,它的得分为 77.41%,基础框架为 61.62%,采用全局统一框架方法的 Meta-Harness 为 63.92%。在不熟悉的应用上,它保留基础框架,维持了 59.18% 的通过率,而 Meta-Harness 的全局统一框架的通过率降至 44.90%。
对于混合工作负载,应保留基础框架作为后备方案,仅在运行结果显示已知问题时才路由至专用框架。