aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

伯克利等实验室研究发现:AI 智能体改写自身配置后也会丢失原有能力

AI 导读

研究让模型保持不变,由智能体修改自身的提示词、技能、工具或代码,并比较修改前后的表现。16 个经过调整的智能体都获得了新能完成的任务,也失去了原本能完成的任务;其中一个可靠性提高 5.2 个百分点,却失去了原先能完成的 10 项任务。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

加利福尼亚大学伯克利分校与其他顶尖实验室的一篇新论文发现,改写自身运行框架以提高得分的智能体,也会失去原本能够完成的任务,而平均分掩盖了这一点。

运行框架演化让智能体在模型保持不变的情况下,修改自己的提示词、技能、工具或代码。结果通常表现为1个更高的基准测试分数,但这可能掩盖失去的任务、更高的成本,以及无法迁移的收益。

他们使用GPT-5.4,在2种运行框架和2项基准测试上运行了4种演化方法,包括GEPA和HyperAgents。随后,他们将每个演化后的智能体与其初始版本对比,重新测试了8次。

全部16个演化后的智能体都获得了完成某些任务的能力,也失去了完成另一些任务的能力;其中1个智能体的可靠性提高了5.2个百分点,却失去了原本能够完成的10项任务。在可靠性提高的11个智能体中,有8个的单次运行成本也增加了。

演化智能体的运行框架时,要跟踪失去的任务、单次运行成本,以及在未见过的任务上的表现,不能只看平均分。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错