Berkeley and other labs find that agents can lose previously solved tasks after rewriting their own harnessMachine translation

加利福尼亚大学伯克利分校与其他顶尖实验室的一篇新论文发现，改写自身运行框架以提高得分的智能体，也会失去原本能够完成的任务，而平均分掩盖了这一点。

运行框架演化让智能体在模型保持不变的情况下，修改自己的提示词、技能、工具或代码。结果通常表现为1个更高的基准测试分数，但这可能掩盖失去的任务、更高的成本，以及无法迁移的收益。

他们使用GPT-5.4，在2种运行框架和2项基准测试上运行了4种演化方法，包括GEPA和HyperAgents。随后，他们将每个演化后的智能体与其初始版本对比，重新测试了8次。

全部16个演化后的智能体都获得了完成某些任务的能力，也失去了完成另一些任务的能力；其中1个智能体的可靠性提高了5.2个百分点，却失去了原本能够完成的10项任务。在可靠性提高的11个智能体中，有8个的单次运行成本也增加了。

演化智能体的运行框架时，要跟踪失去的任务、单次运行成本，以及在未见过的任务上的表现，不能只看平均分。