aifollow.news 搜索
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分40

一项分析提出用独立新任务筛选 AI 智能体的自我修改

自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。

AI 导读

这项分析将智能体修改提示词、记忆、工具和运行代码的方法归入进化算法框架,主张只有改动在独立新任务上超过当前配置一定幅度才予以保留。它引用的一组既有结果显示,不同模型与调整方式在 SpreadsheetBench 上分别取得 77.58% 和 76.20%,但成本未对齐,不能据此直接判断哪种方案更划算。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

自我改进型智能体只有在一项运行框架修改于全新、独立的任务上胜过当前版本后,才应接受该修改。

它将运行框架的自我改进方法与进化算法对应起来,涵盖从简单的保留最优搜索,到档案、帕累托选择和多臂老虎机算法引导的预算分配。

自我改进型智能体如今会改写自己的运行框架:围绕固定模型的提示词、记忆、工具和代码。被接受的修改会沿用到后续运行,因此有问题的修改可能造成过拟合、抹去已有技能,或波及其他用户。

他们按修改对象对这些改动分类,范围从提示词到运行时代码。他们的接纳规则是:只有当一项修改在新的、独立的任务上以预设幅度胜过当前运行框架时,才保留它。

在他们根据先前研究汇编的一个案例中,采用进化后的运行框架和技能的 GPT-5.4-nano 在 SpreadsheetBench 上得分为 77.58%。仅经过技能调优的 GPT-5.5 得分为 76.20%,但两者的成本并未进行匹配。

如果你的智能体会修改自身配置,就要在全新任务上测试每项改动,并使评估器、权限设置和紧急停止机制处于它无法触及的范围之外。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错