先了解这件事
AI 综述
Google Research提出面向LLM持续学习的sleep框架,为模型引入周期性睡眠阶段,把短期上下文巩固进长期参数,以缓解灾难性遗忘和静态知识截止。该框架分为记忆巩固与dreaming两阶段:前者用MoE参数扩展和基于GKD与强化学习模仿的知识播种,后者通过随机专家激活、筛选合成样本和RL精修实现自我改进。在BABILong上该方法在10M token内接近完美扩展,在AIME 24/25和HMMT 25上分别取得79.2%、69.0%和46.1%的准确率。目前尚无后续进展。
AI 根据公开报道生成
最新进展 · 正式报道
Google Research 提出 sleep 框架，让 LLM 在持续学习中保留知识事件进展
1 个已确认进展
- 来源：Google Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月28日
Google Research一手精选
Google Research 提出 sleep 框架，让 LLM 在持续学习中保留知识
Google Research 提出 sleep 框架，为 LLM 引入周期性的睡眠阶段，把短期上下文巩固进长期参数，以缓解灾难性遗忘和静态知识截止。该框架分为记忆巩固与 dreaming 两阶段：前者用 MoE 参数扩展和基于 GKD 与强化学习模仿的知识播种，后者通过随机专家激活、筛选合成样本和 RL 精修实现自我改进。在 BABILong 上该方法在 10M token 内接近完美扩展，在 AIME 24/25 和 HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。