Google 提出睡眠框架缓解 LLM 遗忘
先了解这件事
Google Research 提出一种面向大语言模型持续学习的“睡眠”框架，让模型交替进行活跃交互与离线记忆巩固，以缓解持续学习中的灾难性遗忘。该团队称，框架分两阶段：记忆巩固阶段通过 MoE 参数扩展和基于 GKD 与强化学习模仿的上行蒸馏，把高频短期记忆写入新解锁的低秩专家，随后重置临时参数；做梦阶段随机激活专家生成合成样本，经梯度筛选后做强化学习精炼。 在满语、Kalamang 等未见语言的持续翻译任务中，该方法在多阶段评估中性能几乎不下降，而 ICL、Cartridges 和 SFT 出现严重遗忘。在 BABILong 长上下文理解上，该方法可扩展至 10M tokens；在 SQuAD 与 CPT 事实知识注入上分别达到 48.9% 和 46.2%；在 AIME 24/25 与 HMMT 25 上准确率为 79.2%、69.0% 和 46.1%。 上述结果来自 Google Research 的发布，属于该团队报告的方法表现，尚待独立验证。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Google Research精选Google 提出 sleep 框架，让 LLM 在持续学习中保留知识
Google 研究团队提出 sleep 框架，为 LLM 设计交替的活跃交互与离线记忆巩固周期，以缓解持续学习中的灾难性遗忘。该框架分两阶段：记忆巩固阶段通过 MoE 参数扩展和基于 GKD 与强化学习模仿的上行蒸馏，把高频短期记忆写入新解锁的低秩专家，随后重置临时参数；做梦阶段随机激活专家生成合成样本，经梯度筛选后做 RL 精炼。在满语、Kalamang 等未见语言的持续翻译中，该方法多阶段评估性能几乎不下降，而 ICL、Cartridges 和 SFT 出现严重遗忘；在 BABILong 长上下文理解上可扩展至 10M tokens；在 SQuAD 与 CPT 事实知识注入上分别达到 48.9% 和 46.2%；在 AIME 24/25 与 HMMT 25 上准确率为 79.2%、69.0% 和 46.1%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。