Google 提出 sleep 框架，让 LLM 在持续学习中保留知识

Google 研究团队提出 sleep 框架，为 LLM 设计交替的活跃交互与离线记忆巩固周期，以缓解持续学习中的灾难性遗忘。该框架分两阶段：记忆巩固阶段通过 MoE 参数扩展和基于 GKD 与强化学习模仿的上行蒸馏，把高频短期记忆写入新解锁的低秩专家，随后重置临时参数；做梦阶段随机激活专家生成合成样本，经梯度筛选后做 RL 精炼。在满语、Kalamang 等未见语言的持续翻译中，该方法多阶段评估性能几乎不下降，而 ICL、Cartridges 和 SFT 出现严重遗忘；在 BABILong 长上下文理解上可扩展至 10M tokens；在 SQuAD 与 CPT 事实知识注入上分别达到 48.9% 和 46.2%；在 AIME 24/25 与 HMMT 25 上准确率为 79.2%、69.0% 和 46.1%。