研究显示朴素 RAW-RAG 在长对话记忆评测上强于复杂 Agentic Memory
复杂 Agentic Memory 并非总是必要：朴素 RAW-RAG 在长对话记忆评测上更强
一项研究在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 四个长对话记忆基准上对比发现，仅对原始对话历史做稠密检索加重排的 RAW-RAG 在 7 组基准与模型组合中有 6 组排名第一，比最强 agentic memory 系统高 0.13 至 5.53 分。作者认为瓶颈主要在证据是否齐全，而非抽取、变异与图结构，消融显示去掉重排下降 3.92 分、只回 1 条下降 11.73 分，加入原子事实抽取、摘要增强或图扩展均未超过默认 RAW-RAG。作者自述局限为仅覆盖离线公开对话基准，未涉及交互、多模态与真实运维，原文存储的隐私与删除约束是现实代价。
推荐理由
AI 评分 59
原文用四个长对话记忆基准和消融实验，对比朴素 RAW-RAG 与复杂 agentic memory 的差距，并给出覆盖率与路径完整性的解释。
主题
查看原帖RAG 又回来了！ 这项工作表明，在大多数长期记忆基准上，直接对原始聊天历史做朴素 RAG 胜过复杂的 agentic memory 系统。 （建议收藏） 他们测试了 Raw-RAG，也就是仅对原始对话做稠密检索加重排，再喂给阅读器 LLM。 在 LoCoMo、LongMemEval、MEME 和 MemoryAgentBench 上，它在七组基准与模型设置中有六组排名第一，比最强的 agentic memory 系统高出 0.13 至 5.53 分。在 BEAM-1M 上，数据摄入仅需 0.3 小时，而 Mem0、MemOS 和 Memora 等系统需要 3.2 至 27 小时。 为什么它能站得住脚？原始历史保留了问题所需的更多证据，包括答案背后的关系和依赖路径。把历史改写成记忆条目往往会丢掉这些重要细节。 即使可以完整访问转换后的记忆存储，模型回答的准确率仍低于使用原始证据时。 在给你的 agent 添加记忆层之前，至少先在自己的数据上跑一下这个基线。 https://t.co/4Fw1at4whN 与论文对话：https://t.co/XJyaqjw0LE
查看原文
RAG is so back! This work shows that plain RAG over raw chat history beats complex agentic memory systems on most long-term memory benchmarks. (bookmark it) They tested Raw-RAG, which is just dense retrieval plus reranking over the raw conversation, feeding a reader LLM. Across LoCoMo, LongMemEval, MEME and MemoryAgentBench, it ranks first in six of seven benchmark and model settings, ahead of the strongest agentic memory system by 0.13 to 5.53 points. Ingestion on BEAM-1M takes 0.3 hours, against 3.2 to 27 hours for systems like Mem0, MemOS and Memora. Why does it hold up? Raw history keeps more of the evidence a question needs, including the relations and dependency paths behind an answer. Rewriting history into memory entries tends to drop those important bits. Even with complete access to the transformed memory stores, models answer less accurately than with raw evidence. Before adding a memory layer to your agent, at least run this baseline on your own data. https://t.co/4Fw1at4whN Chat with Paper: https://t.co/XJyaqjw0LE
正文
复杂 Agentic Memory 并非总是必要：朴素 RAW-RAG 在长对话记忆评测上更强
在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 上，仅对原始对话历史做稠密检索 + 重排的 RAW-RAG，在 7 组「基准×模型」里有 6 组排名第一，比最强对比的 agentic memory 高 0.13–5.53 分；作者认为瓶颈主要是「证据是否齐全」，而不是复杂的抽取、变异与图结构。 https://t.co/vSEiSAL6Ej
问题背景 长对话超出上下文窗口后，近年流行 agentic memory：抽取、摘要、UPDATE/DELETE、图/社区、可学习检索等。常见质疑是：原始历史 RAG 对付不了「事实被覆盖、删除、级联状态」；且已有论文报告 RAG 落后。作者追问：这些复杂度是否总是必要？
两个预实验（动摇「必须显式维护状态」） 1. Mem0 写操作审计：LoCoMo 上 UPDATE+DELETE 仅占写决策的 4.39%（有效变更约 1.90%）；LongMemEval 为 2.46% / 1.34%。关掉 UPDATE/DELETE、只保留 ADD/NONE，LoCoMo 准确率反而 67.36% → 69.42%。 2. MEME 相位可见 oracle：把该阶段原始证据按时间序给 reader（无检索误差），强模型（如 DeepSeek-V4-Flash）在 cascade / invalidation 上可达约 82% / 92%——说明有足够原文时，reader 往往能自己推出现态。
RAW-RAG 怎么做 · 不做 LLM 抽取/摘要/构图/变异。 · 对话序列化（时间戳、图片说明）→ 256 token 窗、32 overlap → 扁平向量索引。 · 查询：余弦取 top-128 → cross-encoder 重排取 top-15 → 交给 reader 做时序与状态推理。
RAW-RAG 主结果（相对对比系统，不含 Full-context） · LoCoMo（GPT-4o-mini / 4.1-mini）：89.07 / 93.70，领先约 0.65–0.95 · LongMemEval（4.1-mini）：87.53，领先约 0.13（相对 Memora 87.40） · MEME（4o-mini）：39.30，领先约 2.24 · MemoryAgentBench（4o-mini / DS-V4-Flash）：48.32 / 53.41，领先约 4.5–5.5 · 唯一落后：MEME + DeepSeek-V4-Flash：MemMachine 44.71 vs RAW-RAG 43.19
消融：去掉重排 −3.92；只回 1 条 −11.73；加原子事实抽取 / 摘要增强 / 图扩展 都未能超过 默认 RAW-RAG（48.32）。摄入成本也低：BEAM-1M 上远快于 MemOS、Mem0 等（可达数十倍差距）。
为何够用：三点发现 1. 覆盖率 > 利用率：系统间「证据是否够」差距远大于「有证据后答对率」；RAW-RAG 覆盖最高，可抵消略低的条件利用率。 2. 路径完整性：有用证据 = 答案值 + 时序/依赖路径；RAW-RAG 的 P(path|result) 最高约 62.34%。 3. 摄入时保真：即便给「完整变换后记忆库」的 oracle，仍难追上「原始证据」；丢掉或扭曲的原文，事后检索补不回来。
局限（作者自述） 仅离线公开对话基准；未覆盖交互、多模态、真实运维。原文存储与隐私/删除约束是现实代价。弱 reader 或需减少重复推理时，显式状态维护是否更有用，仍待验证。