aifollow.news
Back Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · Original publication time AI score54

MIT and Meta paper proposes correcting AI agents’ old notes using task outcomesMachine translation

AI introduction

After each task, ReHarness uses the retrieved notes and outcome to narrow or correct old notes, drawing only on facts from each note’s original task. Across three benchmarks and three frontier models, its average normalized gain was 0.240, compared with 0.168 for the best raw-trajectory baseline.

Original post · AI translation

@rohanpaul_ai
Translation · refer to the original

麻省理工学院和 Meta 的一篇新论文发现,如果能根据旧笔记下次被使用时发生的情况对其进行修正,智能体的记忆效果会更好。

在工作中学习的智能体会保存过去任务的笔记,并再次使用。笔记一旦写下就很少更改,因此过于宽泛或过时的经验会持续误导智能体。

每项任务结束后,ReHarness 会将检索到的笔记和任务结果交给一个修订智能体。该智能体仅使用笔记所对应原始任务中的事实,缩小或修正每条笔记的适用范围和内容。

在 3 项基准测试和 3 个前沿模型上,它的归一化增益平均为 0.240;这一指标表示相对于无记忆智能体,可能实现的改进中实际实现的比例。表现最好的原始轨迹基线得分为 0.168;在使用 Claude 的 CL-Bench 测试中,重放完整原始历史所用的词元数是其 3.4 倍。

如果你的智能体会从经验中学习,就让每次任务的结果修改曾影响该任务的笔记,而不只是添加新笔记。

Source: Rohan Paul · x.com

Research
Found an error? Send a correction