得州大学论文提出 Jev-Mem：长对话记忆构建提速 6.6 倍
University of Texas paper finds that handing small memory decisions to a fast scoring model let an AI memory system build its memory of long conversations 6.6 t
AI 导读
得克萨斯大学论文提出的 Jev-Mem 把链接、停止搜索等小型记忆决策交给快速打分模型 Jev，以批量返回概率替代生成文本，只在最后调用 LLM 读取记忆并作答，使长对话记忆构建速度提升 6.6 倍。在 LoCoMo 长对话基准上，其回答得分为 0.777，高于最佳基线的 0.700；记忆构建耗时 158 秒，最快对比方案为 1,044 秒，回答耗时 0.93 秒，对比方案为 1.47 秒。作者建议，若记忆流水线在路由、打分或停止判断上调用 LLM，可改用快速分类器，把 LLM 留给最终回答。
正文 · AI 翻译
得克萨斯大学论文发现，将小型记忆决策交给快速打分模型，可使 AI 记忆系统构建长对话记忆的速度提升 6.6 倍
许多记忆系统会让 LLM 做出小型选择，例如链接什么或何时停止搜索。
为每个选择生成文本很慢，而且这些调用在记忆构建和搜索期间会不断累积。
Jev-Mem 将这些选择交给快速打分器 Jev，它批量返回概率而非文本。LLM 只在最后被调用，用于读取选定的记忆并作答。
在 LoCoMo 长对话基准上，它获得 0.777 的回答得分，而最佳基线为 0.700。它构建记忆耗时 158 秒，而最快的对比方案为 1,044 秒；回答耗时 0.93 秒，对比方案为 1.47 秒。
如果你的记忆流水线在路由、打分或停止判断上调用 LLM，可在这些环节改用快速分类器，把 LLM 留给回答。