睡眠框架：让大语言模型在持续学习中保留知识的新方法
2026年10月27日
Ali Behrouz 与 Vahab Mirrokni，Google Research
我们在持续学习中引入睡眠阶段，使大语言模型能够持续整合新事实并增强推理能力，同时缓解灾难性遗忘或静态知识截止的问题。
现代大语言模型通过预训练和 上下文学习 （ICL）取得了令人瞩目的性能。然而，一旦部署，它们基本上保持静态，以固定的知识截止日期运行，因而无法获得长期能力或适应新信息。
虽然用新数据更新模型看似是显而易见的解决方案，但持续的参数量更新往往会触发 灾难性遗忘，这是一个根本性问题：学习新任务会严重损害此前已学任务的性能。或者，严格依赖 ICL 会将知识保留限制在即时上下文窗口内：一旦上下文会话结束，所获得的短期信息就会被遗忘。
受人类大脑在休息时如何处理并稳定记忆的启发，我们引入了一个 睡眠框架 ，这是一个为大型语言模型（LLM）赋予持续学习能力的学习范式 周期性的 生命周期，使它们能够持续学习，将脆弱的短期上下文巩固为稳定的长期参数。借助这一框架，我们证明，在主动交互与离线记忆巩固之间交替，可使 LLM 持续获取新事实、保留长达 10M token 的长上下文知识，并提升复杂推理能力。
重新思考机器学习：主动（清醒）阶段与睡眠阶段
传统机器学习依赖于训练与推理之间的严格分离。在持续学习框架中，这种区分变得人为；智能体必须不断学习、适应并处理信息。
在睡眠范式下，LLM 会在两个主要状态之间运行：
- 主动（清醒）阶段：模型主动接收、处理输入并与之交互，将临时信息存储在快速、短期的记忆组件中。
- 睡眠阶段：模型暂停处理新输入，并将内部计算转向记忆巩固和自我改进。
虽然“睡眠”“做梦”和“自我改进”等术语借用了神经科学的概念，但我们的框架完全运行在固定的模型架构和人类定义的训练规则之内。在离线睡眠阶段，模型会解锁预先分配好的混合专家（MoE）记忆块，并利用自生成的练习样本更新其数值权重。这一自动化的后训练循环帮助已部署的模型吸收新事实、提升推理准确度，同时保持其核心代码库和设计不变。
睡眠过程的关键组成部分
睡眠范式通过两个阶段来应对灾难性遗忘和持续适应：记忆巩固与做梦。
1. 记忆巩固
在人类大脑中， 非快速眼动 （NREM）慢波睡眠通过抽象和提炼，将脆弱的记忆巩固为长期结构。我们提出的睡眠框架通过两个关键技术机制来模拟这一自然现象：
- 参数扩展与连续记忆层级： 为了防止灾难性遗忘，模型在睡眠期间动态扩展其容量。使用 混合专家 （MoE）和 希望 架构，新解锁的低秩专家被整合进稳定的、较低频率的记忆块中，以存储新传入的知识，同时不干扰较旧的参数。
- 知识播种（向上蒸馏）： 存储在高频层（例如上下文内记忆）中的脆弱短期记忆会被转移到新扩展的长期参数中。这是通过 （GKD）结合基于强化学习（RL）的模仿学习来实现的： （GKD）结合 强化学习 （RL）的 模仿学习:
- 同策略蒸馏： 扩展后的学生模型从在自采样序列上生成的教师分布中学习针对特定 token 的反馈。
- 学习模仿（LTI）： 学生模型根据语义相似度和绝对相似度获得奖励（Levenshtein 距离）来完成教师生成文本的前缀补全。
- 突触修剪： 一旦记忆巩固到较低频率模块的过程完成，高频临时参数就会被重置，从而为未来的活跃会话释放容量。
我们的睡眠框架概览：来自活跃阶段的输入流在进入睡眠周期之前先存储在短期记忆中，睡眠周期分为两个分支——巩固（利用低秩结构和 MoE，将脆弱的短期 token 转移到扩展后的长期参数记忆中）与做梦（通过随机专家进行合成路由，并结合 RL 精修，实现自主自我改进）。
2. 为自我改进而做梦
在 快速眼动睡眠，人脑会主动模拟情景、巩固情感/语义连接，并探索新的神经通路。与此相仿，在“做梦阶段”，睡眠框架会执行一个自主的自我改进循环：
- 随机专家选择： 在合成数据生成过程中，MoE 路由器会随机激活非标准专家。这迫使模型混合不同领域的知识，并揭示潜在的模式。
- 精选排练： 该模型生成合成训练样本（“梦境”），并使用基于梯度的数据选择对它们进行筛选，以优先选择最有可能提升模型整体能力的样本。
- 强化学习精修： 该模型对评分最高的梦境样本进行监督微调，并评估生成结果能否提升下游任务的性能。
理论基础
除了实证结果之外，我们的睡眠范式还建立在一个理论基础之上，该理论阐明了为什么它的两个阶段（记忆巩固和做梦）能够支持持续学习，而不仅仅是以旧能力换取新知识。
就记忆巩固而言，分析表明，知识播种可以理解为一个结构化的低秩压缩问题。模型并不需要把短期痕迹中的每一个细节都复制到参数中。相反，它会识别出一组紧凑的方向，这些方向能最好地同时保留模型自身的同策略行为和由学习目标所奖励的语义特质。
这一视角解释了两种信号的互补作用：同策略蒸馏使巩固过程与模型在推理时实际产生的轨迹保持一致，从而减少仅基于教师生成分布训练时可能出现的失配；与此同时，语义奖励改变了哪些内容值得保留，优先考虑能够保留含义和任务相关行为的方向，而不仅仅是匹配 token 概率。参数扩展则提供了写入这些被选中的记忆所需的容量，而不会覆盖此前已巩固的知识。
就做梦而言，该理论将随机专家激活和基于奖励的样本选择描述为改善学习几何结构的机制。注入不同的 MoE 拓宽了合成生成过程中所探索的梯度方向集合，使模型接触到比仅由其常规清醒时数据所诱导的更新更丰富的更新集合。随后，基于梯度的过滤会强调那些携带最有用学习信号的合成经验，强化信息量大的方向，同时保持底层梯度空间的结构。
这些步骤共同带来了更均衡的优化景观：学习不再被少数方向主导，梯度的条件数更好，模型在精炼自身能力时能够取得更稳定的进展。在这一视角下，做梦不仅仅是自生成的数据增强；它是一个有意的过程，用于多样化、选择和巩固模型借以自我改进的更新。
我们的睡眠框架与基线方法（如上下文学习和监督微调）在主要评估维度上的性能对比，包括类增量学习、持续翻译、高达 10M token 的长上下文扩展、事实知识注入以及数学推理。
对于 持续翻译在未见过的语言（如满语和卡拉芒语）中，sleep 框架在多阶段评估中保持了接近零的性能下降，而 ICL 等标准基线， Cartridges，以及 监督微调 （SFT）在顺序学习过程中遭受了严重的灾难性遗忘。
在长上下文理解方面， BABILong 基准测试中，我们的 sleep 方法在高达 10M token 的范围内展现出近乎完美的扩展性，优于 GPT-4、Titans 等强基线方法，其通过睡眠时巩固将长上下文信息直接压缩进参数化记忆。 GPT-4，以及 Titans 通过睡眠时巩固将长上下文信息直接压缩进参数化记忆。
在事实性知识注入方面，基于 和持续预训练（CPT）的评估中，我们的 sleep 方法在单任务上达到 48.9%，在 CPT 评估中达到 46.2%，优于包括基础模型、SFT 和自适应语言模型（SEAL）在内的基线方法，因为它成功整合了新的事实信息，同时没有降低现有模型表示的质量。最后，在包括 AIME 24/25 和 HMMT 25 在内的数学推理基准上，经 sleep 增强的基础模型分别取得了 79.2%、69.0% 和 46.1% 的准确率。这一表现优于 以及 持续预训练 （CPT），我们的 sleep 方法在单任务上达到 48.9%，在 CPT 评估中达到 46.2%，优于包括基础模型、SFT 和 自适应语言模型 （SEAL），成功整合了新的事实信息，同时没有降低现有模型的表示质量。
最后，在包括 AIME 24/25 和 HMMT 25经 sleep 增强的基础模型分别取得了 79.2%、69.0% 和 46.1% 的准确率。这一表现优于 SFT、组相对策略优化（GRPO）和同策略自蒸馏（OPSD）等基线方法，表明将记忆巩固与模仿学习相结合能够带来更优的推理性能。
结论
我们的睡眠范式为实现自主、持续学习的 AI 系统提供了一条路径。通过超越静态预训练和脆弱的上下文窗口，在主动学习与离线休息之间交替，使 LLM 能够保留短期记忆、将新技能抽象为长期参数结构，并在不发生灾难性遗忘的情况下持续自我改进。
致谢
这项研究 由 Ali Behrouz（Google 和康奈尔大学）、Farnoosh Hashemi（康奈尔大学）、Adel Javanmard（Google 和南加州大学）以及 Vahab Mirrokni 共同完成。我们感谢 Yuan Deng 和 Corinna Cortes 审阅本项工作并提出宝贵建议。我们也感谢 Mark Simborg、Kimberly Schwede 和 Tim Herrmann 在撰写本博客文章过程中提供的帮助。