斯坦福研究人员开源大模型记忆模块 Memorilla

AI 辅助摘要

Memorilla 将整组文档压缩为供冻结模型读取的 16 个记忆 token。在研究团队自行报告的 FactKG 测试中，搭配 Qwen3-8B 的准确率为 84.33%，高于全文输入的 80.43%，使用的文档 token 少 108 倍；但在 PubMedQA 上低于对比方法。代码、训练流程和模型检查点已公开。