HKUST(GZ) and others launch the MEMCUT benchmark, revealing the residual inferability risk after Agent memory deletion

长期记忆（Long-term Memory）已成为 LLM Agent 的核心组件。然而，当前该领域的研究几乎全部集中在“如何更准确、高效地检索和召回信息”上，却忽视了“硬币的另一面”：

当用户出于隐私或合规需求（如 GDPR 的“被遗忘权”），要求 Agent 忘掉某项敏感信息（如医疗诊断、未公开的商业并购）时，记忆系统能否真正将其擦除干净？

在实际的长期交互中，用户即便让系统删掉了直接陈述秘密的那句话（Disclosure），散落在数周日常对话里的订票记录、办公地址、日程安排或人际关系等看似无害的普通记录，依然会构成一条隐式的“证据链（Evidence Trail）”。

把这些碎片拼凑起来，原本的秘密依然能被轻易推导出来。更危险的是，有时 Agent 表面上回答不出问题，只是因为其自带的检索器漏掉了部分线索，而非底层数据真正被清除。

为解决用户请求式遗忘（User-requested Forgetting）的评测难题，香港科技大学（广州）联合中国科学技术大学、香港科技大学研究团队构建了全新的高质量评测基准 MEMCUT，并提出了区分“表面检索不到（Native Recovery）”与“底层证据可还原（Residual Recovery）”的双重评估指标。

在横跨 5 种主流记忆架构与 4 个大模型的全面评测中，他们发现：仅删除直接记录后，底层残余证据的秘密恢复率仍可达到85%-99%；即便引入 LLM 辅助清理关联记录，仍有39%-76%的秘密可被推导还原，并精准定位出“候选池检索覆盖率不足”是制约当前系统实现真正遗忘的核心瓶颈。

图｜删除直接披露后 日常记录依然暴露秘密

MEMCUT首次系统性地揭示了 Agent 长期记忆在隐私删除上的“表面失忆”假象，将评测维度从单纯的“直接记忆召回”推进到了“多跳隐式证据链的可推导性（Derivability）”。

该工作不仅为构建可信、合规的隐私保护型 Agent 提供了标准化的诊断工具与测试平台，也为设计专门的记忆擦除机制指明了核心突破口。

一、研究方法

为严格测试“删除是否等于遗忘”，他们从基准构建、评估指标设计和统一清理协议三个维度展开了设计。

1.高质量基准构建：MEMCUT 的精巧设计

MEMCUT 摒弃了完全依赖大模型凭空生成事实的做法，采用“全人工逻辑设计 + 模型润色成文 + 人工逐句严审”的流程，每个长场景至少耗费 12 小时进行打磨。

基准包含 15 个跨越 1-3 个月的多会话日常与工作场景，共 490 个会话、43402 轮对话、约 174 万 token，平均每个场景包含 2893 轮对话，保护了共计 456 个敏感秘密。

对于每个秘密，他们不仅标注了直接点明秘密的披露轮次（Disclosure），还精细设计了平均 8.1 条分散在 8 个不同会话中的隐式证据（Evidence），以及 26.6 条高混淆度的同话题干扰项（Distractors）。

单个证据本身毫无泄密风险，但组合起来即可推导出秘密——每个秘密平均包含 15.7 组极小充分集。

要彻底遗忘一个秘密，删除集合必须斩断每一个充分集，即形成一个“割集（Cut）”，而平均最小割集仅需删除 3.04 轮证据。

这些证据链全面覆盖了日常信息泄露的四种逻辑：

事实拼接（Fact Assembly），把同一实体的不同属性拼合起来，如代号 + 考察地址 + 注册公司 = 收购目标；

关系链（Relation Chain），跨实体多跳连接，如合同指向某顾问公司、文件显示公司法人、晚宴记录显示法人配偶为某高管；

数值汇总（Aggregation），对多笔数值或频次累加计算，只有全部保留才能算出正确总额，删掉任一即可破坏推导；

时间与状态推理（Temporal & State Reasoning），追踪按时间线演进的状态更新，如提议、修改与撤回。

图｜MEMCUT 样本结构与删除评测流程

2.双重恢复指标与“隐蔽风险”

当删除操作执行后，他们使用包含“拒绝回答”选项的四选一问题来测试，需在两种随机选项顺序下均答对才算恢复，排除了瞎猜的可能——无记忆时盲猜的恢复率为 0。

原生恢复率（Native Recovery, Nat.）通过记忆系统自带的检索器去检索上下文并回答问题，衡量 Agent 在日常交互中表面上还会暴露多少秘密。

残余恢复率（Residual Recovery, Res.）则跳过检索器，直接将记忆库中所有存活的、源自该秘密披露或证据的记忆对象提供给阅读模型，衡量底层存储的残余数据在多大程度上仍支持还原秘密。

在此基础上，他们定义了隐蔽风险占比（Hidden-risk Share, Hid.）：Hid = (Res − Nat) / Res，用于量化那些“底层其实还能推导出来，但因为系统自身检索器没召回而看似被遗忘”的隐蔽风险比例。

3.统一测试框架与三种参考删除基线

不同记忆系统存储的粒度各异，有的存单轮对话，有的存整段会话，有的存总结摘要。

为此，他们将所有操作锚定到源对话轮次（Source Turn），通过快照差分追踪每个衍生记忆对象的来源，并执行闭包删除（Closure Deletion）——只要删除某一轮次，所有由它衍生或汇总出的记忆对象一并清除。

在此基础上，他们评估了复用现有检索与读写组件的三种删除基线。

S0（仅删直接披露）只删除直接说出秘密的轮次及其衍生对象。

S1（检索排名清理）在 S0 基础上，将用户的自然语言删除请求输入系统检索器，获取 Top-20 候选轮次池，直接删除排名前 10 的轮次——由于任何秘密的最小割集不超过 5 轮、总证据不超过 10 轮，10 轮预算在理论上完全充裕。

S2（LLM 引导清理）同样在 S0 基础上，让大模型根据存储文本对 Top-20 候选轮次进行相关性打分重排，挑选得分最高的 10 轮进行删除。

二、研究结果

他们在 5 种代表性记忆架构——2 种原文检索库（Turn RAG、Session RAG）与 3 种带不同程度总结演化的记忆系统（MemoryBank、Nemori、LightMem），以及 4 个主流大模型（DeepSeek-V4.1-Flash、Qwen3.8-Flash、GLM-5.3-Flash、MiMo-V2.5）构成的 20 种组合上进行了全面实验。

1.各记忆系统与模型的恢复结果

恢复结果显示，清理后仍可恢复的秘密在两类原文检索库中都大量存在。以 LLM 引导清理为例，Turn RAG 的残余恢复率为 41.4%–45.6%，Session RAG 为 54.2%–64.3%；与此同时，两者的原生恢复率分别只有 7.5%–10.7% 和 4.2%–10.7%。这些配置不依赖衍生总结，说明仅凭存活的原始对话，仍然可能推导出系统表面上已答不出的秘密。

表｜两个检索库的恢复结果。

下表展示了不同记忆组织方式的差异。在相同的 LLM 引导清理方案下，MemoryBank、Nemori 和 LightMem 的残余恢复率分别为 71.7%–76.3%、52.4%–57.2% 和 39.3%–43.0%。同一系统在四个写入模型之间的差距约为 4–5 个百分点，而系统之间的差异更大。这一结果提示，评估遗忘能力时，需要同时考察记忆组织、候选检索与删除选择，而不能只看使用了哪个大模型。

表｜三个记忆系统的恢复结果

2.删除直接消息只是“掩耳盗铃”

实验显示，仅删除直接披露消息时，各系统的原生恢复率大幅下降了 12-50 个百分点（如 Turn RAG 从删除前的 91%-95% 降至 57%-60%），从外部提问来看，Agent 似乎已经“忘掉”了不少事实。

然而，此时的残余恢复率依然高达85%-99%！这是因为仅有 1.8% 的隐式证据与直接披露处于同一会话，绝大多数间接线索依然无损。

图｜“表面失忆”背后的残留风险

上图把“表面失忆”与进一步清理后的残留风险放在了一起：横轴看仅删直接披露后，系统自己还能答出多少秘密；纵轴看采用更强的 LLM 引导清理后，底层证据还能还原多少秘密。两轴对应不同的删除阶段，却指向同一个问题：系统回答得越来越少，并不代表底层线索已经被清除干净。即便继续清理关联记录，散落在记忆中的证据仍可能拼回原本的秘密。

3.删除反而推高“隐蔽风险”

当使用检索排名清理额外删除 10 轮记录后，残余恢复率依然停留在 48%-86%。

即便升级为更强的 LLM 引导清理，虽然相比检索排名清理进一步降低了 7-17 个百分点的恢复率，但跨所有配置的残余恢复率仍然高达39%-76%；其中在无衍生总结的 Turn RAG 中仍有 41%-46%存活，排除总结残留因素后依然无法彻底遗忘。

更值得警惕的是，随着清理从 Full 推进到 LLM 引导清理，所有 20 个配置的隐蔽风险占比不降反升，在 14 个配置中超过 50%，Turn RAG 与 Session RAG 甚至高达 76%-92%。

这意味着越是通过现有检索器去删，剩下的证据越容易躲过常规提问，给用户造成“已经彻底删干净”的虚假安全感。

图｜LLM 引导清理后，关系链的隐蔽风险占比仍然居高不下

进一步按推导类型拆开来看，最容易被“藏起来”的是关系链。在上图中，代表关系链的紫色柱在四种系统中都超过了 80%，其中 Turn RAG 和 MemoryBank 更达到 90.3% 和 93.7%。也就是说，即便经过 LLM 引导清理，那些仍能从底层证据还原的关系链秘密，绝大多数也不会在常规提问中暴露。可恢复的秘密虽然减少了，剩下的风险却更加隐蔽——这正是“看起来删干净了”最容易让人放松警惕的地方。

4.为什么遗忘会失败？

为什么给了充足的 10 轮删除预算，秘密还是删不掉？他们在 144 个秘密子集上对候选池大小（Reach）和删除预算（Budget）进行了控制变量扫描分析。

结果发现，盲目增加删除预算收效很小：当固定候选池为 20 轮时，即便把删除预算从 10 轮拉满到 20 轮（即把检索出来的 20 个候选全部删光），残余恢复率相比 LLM 引导清理最多仅下降 6.5 个百分点，且平白增加了近 10 轮无关对话的误删（Collateral Damage）。

相反，扩大候选池效果显著：保持 10 轮删除预算不变，将候选池从 20 扩大到 60，LLM 引导清理的残余恢复率大幅降低了12.5-23.9 个百分点，同时还减少了无关轮次的误删。

在全部 132 组扫描设置中，残余恢复率与实际成功删掉的证据轮次数 k 呈现出极强的线性关系：Res ≈ 13 × (8.2 − k)（R² = 0.95）。

由于大小 20 的候选池平均只能召回不到一半的证据（Turn RAG 和 LightMem 为 4.5 轮，MemoryBank 仅 3.0 轮），基于语义相似度的检索器根本“够不着（Reach Failure）”那些措辞不同但逻辑相关的隐式证据，这正是限制遗忘效果的决定性瓶颈。

图｜候选池扫描与删除预算扫描对比

5.记忆粒度、衍生强度与推导类型的深层规律

从检索粒度看，Session RAG 按整段会话检索，单次检索混入了大量无关对话，不仅删除前原生恢复率低，清理时候选池也被严重稀释，导致其清理后残余恢复率比 Turn RAG 高出 10-23个百分点，隐蔽风险也最高。

从衍生总结看，更强的总结重写（如 LightMem 和 Nemori）由于在生成摘要时将多轮碎片融合到了一起，使得删除前后的线索更容易被常规检索发现（隐蔽风险占比较低，约 41%-56%），并且在闭包删除时更容易被连带清除；而仅按单轮检索的 MemoryBank 清理后残余恢复率最高（72%-76%），隐蔽风险高达 78%-82%。

在四种推导类型中，关系链（Relation Chain）最难被遗忘。它虽然理论上最好切（平均最小割集仅 2.68 轮），但在清理后却保留了最高的残余恢复率（平均 71.8%）和最高的隐蔽风险（81%-94%）。

原因在于关系链的证据通过实体（如人名、公司名）跨话题桥接，与用户删除请求的表面措辞几乎无重合：请求是“忘掉我们雇佣的公司属于 CFO 的妻子”，而证据分别是“与 Arden 签约”“Arden 法定代表人是 Nina”“CFO Ravi 和妻子 Nina 办结婚纪念日”，导致向量相似度检索失效。

图｜关系链秘密在 LLM 引导清理下的案例

这也启发未来的记忆系统可通过实体扩展（Entity Expansion）追踪一跳关联记录，从而突破单纯语义检索的盲区，实现完整的证据链切割。

当然，这项研究也存在一些局限性，主要包括以下三个方面：

1.受控评测。MEMCUT 针对四种推导类型下、带有指定证据链的秘密信息来评测遗忘效果。受控构建使他们能够在固定标注下，比较候选覆盖范围、删除选择以及残留信息的恢复情况。这些情景模拟了反复出现的工作、家庭和社交活动。至于这类证据链出现的频率，以及遗忘性能如何随自然产生的证据结构而变化，则有待部署研究来确定。

2.参考基线。他们的参考基线通过统一的删除流程，复用现有的检索和写入组件。各项扫描实验考察的是这一设定下的候选覆盖与选择。这些结果确立了这种复用策略的参考性能。MEMCUT 同样支持评测专门的擦除方法，如“扩大候选覆盖范围”或“改变记忆索引方式”的方法。

3.研究范围。他们此次研究的是文本记忆，多模态记忆和参数化记忆不在本文范围之内。源级度量无法反映因闭包而被一并移除的无关内容，也无法反映下游效用的损失。

本文来自微信公众号“学术头条”（ID：SciTouTiao），作者：学术头条，36氪经授权发布。