Databricks 发布 MemCurrent 长期记忆架构,内部基准通过率提升 3 倍
Databricks 发布 MemCurrent:用"在线读写加离线做梦"给生产 Agent 装上长期记忆,通过率提升 3 倍、Token 省 31%
Databricks 发布面向生产 Agent 的持久记忆架构 MemCurrent,结合情景记忆与派生记忆,并采用 Plugin、Tool 和离线 dreaming 三种接入方式。基于 1.2 万多次真实 Genie 会话筛选出的 114 个内部测试用例,通过率从无记忆时的 22.3% 提升到 68.4%,同时快 1.35 倍、便宜 1.44 倍。公开基准 LoCoMo、LongMemEval、ConvoMem 平均得分 88.1%,与全量上下文的 87.8% 相当,但每题输入 Token 约少 12 倍(8.4K 对 103K)。该架构已用于 Agent Bricks Memory 和 Genie。
查看原帖隆重推出 MemCurrent,这是一种持久记忆架构,旨在帮助生产环境中的 Agent 不再从零开始。 MemCurrent 通过三种访问模式,将情景记忆与派生记忆相结合: • 插件,可自动记录和加载上下文 • Agent 按需调用的工具 • 离线“dreaming”流水线,在后台整合记忆 Agent 能够延续用户偏好、先前的纠正、指标定义和成功的工作流,而不是在每个会话中重新发现它们。 在我们基于真实企业数据构建的内部基准测试中,MemCurrent 使 Agent 的通过率提升至三倍,同时使用的 Token 减少了 31%,运行速度提升了 26%。它已内置于 Agent Bricks 的 Memory 产品中,并且已经在为 Genie 中的记忆功能提供支持。 阅读研究:https://t.co/AYGXOqrhkO
查看原文
Introducing MemCurrent, a persistent memory architecture designed to help production agents stop starting from zero. MemCurrent combines episodic memory with derived memory across three access patterns: • Plugins to log and load context automatically • Tools the agent calls on demand • An offline “dreaming” pipeline that consolidates memory in the background Agents carry forward user preferences, prior corrections, metric definitions and successful workflows instead of rediscovering them every session. On our internal benchmark built from real enterprise data, MemCurrent triples the agent's pass rate while using 31% fewer tokens and running 26% faster. It's built into Agent Bricks' Memory offering and already powers memory in Genie. Read the research: https://t.co/AYGXOqrhkO
正文
Databricks 发布 MemCurrent:用"在线读写加离线做梦"给生产 Agent 装上长期记忆,通过率提升 3 倍、Token 省 31%
@databricks 团队认为:记忆的关键不在于 "存得多",在 "留什么、怎么维护、如何衡量"。MemCurrent 用两类记忆加三种接入方式,在企业真实任务上同时提升了质量和效率,打破了"效果和成本只能二选一"的局面。已经用在 Agent Bricks Memory 和 Genie 里。 https://t.co/QAmh3e1FWP
三种接入方式,各取所长 · Plugin:在会话的固定节点自动读写。好处是行为可预测,缺点是不需要记忆时也会消耗 Token。 · Tool:由 Agent 自己决定什么时候读写,更灵活,但效果受限于 Agent 自身能力。 · 离线 Pipeline:按计划或触发条件在后台批量更新,运行时成本低,但更新有延迟。
MemCurrent 三种都用,各放在最合适的位置。
两类记忆 · 情景记忆(episodic):原始会话轨迹,只追加不修改,由 plugin 逐步记录。 · 派生记忆(derived):从轨迹中提炼出的经验,以层级文件的形式存放,顶部有一份自动生成的 memory.md 索引。写入有两条通道:用户的显式要求由 Agent 工具(新增、更新、删除)立即生效;隐式经验交给离线的"做梦"(dreaming)流程提炼,它同时负责拆分过大的文件、合并重复内容、解决冲突。
读取分层:会话开始时先注入索引,让 Agent 知道自己记得什么;需要时再用 search_memory 和 fetch_memory 按需检索。
关键数据 · 公开基准(LoCoMo、LongMemEval、ConvoMem):平均得分 88.1%,和全量上下文的 87.8% 相当,但每题输入 Token 约少 12 倍(8.4K 对 103K)。在历史最长的两个基准上,甚至超过了全量上下文,因为塞进去的内容太多反而会干扰模型。 · 内部基准:基于 1.2 万多次真实 Genie 会话筛选,最终得到 114 个测试用例。通过率从无记忆时的 22.3% 提升到 68.4%,补上了到理想上限 78.6% 之间八成以上的差距;同时快了 1.35 倍、便宜了 1.44 倍。Mem0 在公开基准上表现不错,在这里只有 43.9%。 · 两个实例:一次纠错之后,Agent 不再犯"没读查询结果就编造表格"的错;把探索路径保存成工作流之后,一个相关的新问题从近 6 分钟缩短到 41 秒。
消融实验说明了价值从哪来 · 只用情景记忆:35.8%。主要问题是 Agent 只在大约三分之一的用例里想到去搜。 · 派生记忆加索引:66.1%,大部分提升来自这里。"先知道自己知道什么"非常关键。 · 两者结合:68.4%。原始轨迹能找回提炼过程中丢掉的细节。 · 提取策略:只用离线做梦 63.5%,只用在线工具 53.9%,两者结合 66.1%。