谷歌研究团队提出睡眠框架，让大模型边用边学且不遗忘旧知识
告别知识截止日：谷歌让 AI 学会“睡觉”，边用边学还不忘旧知识 - IT之家
谷歌研究团队发布“睡眠框架”（Sleep Framework）持续学习研究，把模型运行分为清醒与睡眠两个阶段，以解决大模型知识固化、难以吸收新信息的问题。睡眠阶段通过参数扩展、混合专家记忆块和知识蒸馏把短期上下文写入长期参数，并通过“做梦”生成合成样本做强化学习。实验显示该框架可处理最长约 1000 万 token 上下文，在未见语言的多阶段持续学习中性能下降接近零，并在 AIME 24/25 等数学基准上取得更高准确率。
推荐理由
AI 评分 62
谷歌把人类睡眠的记忆巩固机制搬进大模型持续学习，读者可了解它如何兼顾吸收新知识与保留旧能力。
主题
正文
2026-10-30 13:51 IT之家 - 故渊
感谢IT之家网友 咩咩洋 的线索投递！
IT之家 10 月 30 日消息，谷歌研究团队于 10 月 27 日发布博文，介绍一项名为“睡眠框架”（Sleep Framework）的持续学习研究成果，试图解决大语言模型发布后知识固化、难以吸收新信息的难题。
该研究已于 10 月 27 日由 Google Research 公开，相关论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。
谷歌指出在通常情况下，当前主流大模型在完成预训练后便进入相对静态的部署状态，其知识存在“截止日期”；若依赖上下文学习，新信息又会随会话结束而丢失。若直接用新数据反复微调，则容易引发“灾难性遗忘”，而模型学会新知识后，原有能力显著下降。
谷歌的方案借鉴人类睡眠中的记忆巩固机制，将模型运行划分为“清醒阶段”和“睡眠阶段”。清醒时，模型接收并处理输入，将信息暂存于短期记忆；进入睡眠阶段后，模型暂停处理新输入，转而进行记忆整合与自我改进。
具体而言，“记忆巩固”环节通过参数扩展、混合专家记忆块和知识蒸馏，把脆弱的短期上下文信息写入长期参数，同时避免覆盖既有知识；“做梦”环节则让模型生成并筛选合成训练样本，借助强化学习反复练习，以提升推理与泛化能力。
实验显示，该框架在持续翻译、长上下文理解、事实知识吸收和数学推理等任务中优于多种基线方法：模型可处理最长约 1000 万 token 的上下文，并在未见语言的多阶段持续学习中保持接近零的性能下降；在 AIME 24/25 等数学基准上也取得更高准确率。
IT之家附上参考地址
The sleep framework: A new way for LLMs to retain knowledge in continual learning
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家包含外链的文章均包含本声明。