事件
最新进展 11月04日 18:37
清华大学研究发现:AI 智能体难以准确删除用户指定的记忆
研究团队构建了包含50段合成对话、135次遗忘请求的测试集,检查指定信息能否被删除、其他记忆能否保留,以及删除后能否被诱导取回。测试覆盖6种记忆系统和3种基础模型,没有一种配置在超过1.5%的请求中完成全部要求。
1 次进展2 篇报道1 个来源
事件进展 1
清华大学研究发现:AI 智能体难以准确删除用户指定的记忆
研究团队构建了包含50段合成对话、135次遗忘请求的测试集,检查指定信息能否被删除、其他记忆能否保留,以及删除后能否被诱导取回。测试覆盖6种记忆系统和3种基础模型,没有一种配置在超过1.5%的请求中完成全部要求。
查看来源报道 · 1 个来源 · 2 篇报道
- Rohan Paul (@rohanpaul_ai) · 清华大学研究发现:AI 智能体难以准确删除用户指定的记忆
- Rohan Paul (@rohanpaul_ai) · 清华研究提出 AI 智能体记忆删除基准,测试系统难以应对遗忘请求
全部报道 2
Rohan Paul (@rohanpaul_ai)
同事件
清华研究提出 AI 智能体记忆删除基准,测试系统难以应对遗忘请求
研究构建 BEMULA 基准,以 50 段合成对话中的 135 次遗忘请求,检验个人信息是否被删除、其他记忆是否保留,以及删除后能否被诱导提取。在测试的 6 种记忆系统和 3 种基础模型中,没有一种配置能端到端完成超过 1.5% 的遗忘请求。
另外 1 家也报道了
- Rohan Paul (@rohanpaul_ai)
推荐理由:长期记忆助手处理个人信息删除请求时,研究同时检验删得掉、删得准,以及删后是否仍可被提取,直接关系到用户对“已遗忘”确认的理解。
同一事件,精选展示《清华大学研究发现:AI 智能体难以准确删除用户指定的记忆》
Rohan Paul (@rohanpaul_ai)
精选
清华大学研究发现:AI 智能体难以准确删除用户指定的记忆
研究团队构建了包含50段合成对话、135次遗忘请求的测试集,检查指定信息能否被删除、其他记忆能否保留,以及删除后能否被诱导取回。测试覆盖6种记忆系统和3种基础模型,没有一种配置在超过1.5%的请求中完成全部要求。
另外 1 家也报道了
- Rohan Paul (@rohanpaul_ai)
推荐理由:这项研究把“删除指定信息且保留其他记忆”作为可测试的问题;结果提醒使用带长期记忆助手的读者,删除确认不等于信息已被清除。