原帖引用 · AI 翻译
标题：“Jev-Mem：由系统 1 控制的智能体记忆，助力构建高效 AI 智能体”
得克萨斯大学的一篇论文发现，将细小的记忆决策交给快速评分模型，能让 AI 记忆系统构建长对话记忆的速度提高到原来的 6.6 倍
许多记忆系统会让大语言模型作出一些细小的选择，比如要关联哪些内容，或何时停止搜索。
每次选择都要生成文本，速度很慢；在构建和搜索记忆的过程中，这些调用会不断累积。
Jev-Mem 将这些选择交给名为 Jev 的快速评分模型；它批量返回概率，而不是文本。只在最后调用大语言模型，让它读取选定的记忆并作答。
在长对话基准测试 LoCoMo 上，它的回答得分为 0.777，而表现最好的基线方法为 0.700。它用 158 秒构建记忆，而速度最快的竞争方法用了 1,044 秒；它用 0.93 秒作答，而对方用了 1.47 秒。
如果你的记忆处理流程会调用大语言模型来进行路由、评分或决定何时停止，可以试着在这些环节使用快速分类器，把大语言模型留给回答问题。
原文
University of Texas paper finds that handing small memory decisions to a fast scoring model let an AI memory system build its memory of long conversations 6.6 times faster Many memory systems ask an LLM to make small choices, like what to link or when to stop searching. Generating text for each choice is slow, and those calls pile up during memory building and search. Jev-Mem gives those choices to a fast scorer, Jev, that returns probabilities in batches instead of text. The LLM is called only at the end, to read the chosen memories and answer. On the LoCoMo long-conversation benchmark, it got a 0.777 answer score versus 0.700 for the best baseline. It built memory in 158 seconds versus 1,044 for the fastest rival and answered in 0.93 seconds versus 1.47. If your memory pipeline calls an LLM for routing, scoring, or stopping, try a fast classifier there and save the LLM for answers.