aifollow.news
← 新闻
事件 最新进展 11月04日 18:37

清华大学研究发现:AI 智能体难以准确删除用户指定的记忆

研究团队构建了包含50段合成对话、135次遗忘请求的测试集,检查指定信息能否被删除、其他记忆能否保留,以及删除后能否被诱导取回。测试覆盖6种记忆系统和3种基础模型,没有一种配置在超过1.5%的请求中完成全部要求。

1 次进展2 篇报道1 个来源

事件进展 1

清华大学研究发现:AI 智能体难以准确删除用户指定的记忆

研究团队构建了包含50段合成对话、135次遗忘请求的测试集,检查指定信息能否被删除、其他记忆能否保留,以及删除后能否被诱导取回。测试覆盖6种记忆系统和3种基础模型,没有一种配置在超过1.5%的请求中完成全部要求。

查看来源报道 · 1 个来源 · 2 篇报道
全部报道 2
Rohan Paul (@rohanpaul_ai) 同事件

清华研究提出 AI 智能体记忆删除基准,测试系统难以应对遗忘请求

研究构建 BEMULA 基准,以 50 段合成对话中的 135 次遗忘请求,检验个人信息是否被删除、其他记忆是否保留,以及删除后能否被诱导提取。在测试的 6 种记忆系统和 3 种基础模型中,没有一种配置能端到端完成超过 1.5% 的遗忘请求。

另外 1 家也报道了
  • Rohan Paul (@rohanpaul_ai)

推荐理由:长期记忆助手处理个人信息删除请求时,研究同时检验删得掉、删得准,以及删后是否仍可被提取,直接关系到用户对“已遗忘”确认的理解。
同一事件,精选展示《清华大学研究发现:AI 智能体难以准确删除用户指定的记忆》
Rohan Paul (@rohanpaul_ai) 精选

清华大学研究发现:AI 智能体难以准确删除用户指定的记忆

研究团队构建了包含50段合成对话、135次遗忘请求的测试集,检查指定信息能否被删除、其他记忆能否保留,以及删除后能否被诱导取回。测试覆盖6种记忆系统和3种基础模型,没有一种配置在超过1.5%的请求中完成全部要求。

另外 1 家也报道了
  • Rohan Paul (@rohanpaul_ai)

推荐理由:这项研究把“删除指定信息且保留其他记忆”作为可测试的问题;结果提醒使用带长期记忆助手的读者,删除确认不等于信息已被清除。