aifollow.news Search
Back Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · Original publication time AI score40

Analysis proposes fresh, independent tasks to screen AI agents’ self-modificationsMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI introduction

The analysis maps changes to agents’ prompts, memory, tools and runtime code onto evolutionary algorithms. It proposes retaining an edit only when it beats the current setup by a set margin on new, independent tasks. In results compiled from prior work, two different model and tuning combinations scored 77.58% and 76.20% on SpreadsheetBench, but their costs were not matched.

Original post · AI translation

@rohanpaul_ai
Translation · refer to the original

自我改进型智能体只有在一项运行框架修改于全新、独立的任务上胜过当前版本后,才应接受该修改。

它将运行框架的自我改进方法与进化算法对应起来,涵盖从简单的保留最优搜索,到档案、帕累托选择和多臂老虎机算法引导的预算分配。

自我改进型智能体如今会改写自己的运行框架:围绕固定模型的提示词、记忆、工具和代码。被接受的修改会沿用到后续运行,因此有问题的修改可能造成过拟合、抹去已有技能,或波及其他用户。

他们按修改对象对这些改动分类,范围从提示词到运行时代码。他们的接纳规则是:只有当一项修改在新的、独立的任务上以预设幅度胜过当前运行框架时,才保留它。

在他们根据先前研究汇编的一个案例中,采用进化后的运行框架和技能的 GPT-5.4-nano 在 SpreadsheetBench 上得分为 77.58%。仅经过技能调优的 GPT-5.5 得分为 76.20%,但两者的成本并未进行匹配。

如果你的智能体会修改自身配置,就要在全新任务上测试每项改动,并使评估器、权限设置和紧急停止机制处于它无法触及的范围之外。

来源:Rohan Paul · x.com

Research
Found an error? Send a correction