睡眠框架(Sleep Framework)
训练优化谷歌提出「睡眠框架」,模拟人类睡眠的记忆巩固机制:清醒阶段接收信息暂存短期记忆,睡眠阶段通过记忆巩固与梦境自改进转长期参数记忆,可将连续学习后旧任务准确率降幅减少超 60%,为大模型终身持续学习提供新解。
释义展开
大模型有个老毛病叫「灾难性遗忘」:学了新东西,旧本事就忘了。2026-11-03 报道,谷歌提出「睡眠框架(Sleep Framework)」,借鉴人类睡眠的记忆巩固机制给模型开方:清醒阶段接收信息、暂存为短期记忆;睡眠阶段暂停处理新输入,通过「记忆巩固」与「梦境自改进」两道工序,把短期上下文转成长期参数记忆,同时不覆盖旧知识。测试显示,连续学习后旧任务准确率降幅减少了超 60%,且无需重训旧数据。等于给模型装了个「睡前复习、醒来不忘」的开关。
用法 / 适用场景
- 持续学习场景:模型要不停学新任务又不丢旧能力时,这套周期运行模式很关键。
- 与
finetuning(微调)、rlhf(人类反馈强化学习)、llm同属「模型训练/记忆」议题。 - 对边缘设备、长期在线的个人助理尤其有意义——边用边学还不退化。
变体 / 关联
- 它解决的是「学会之后怎么不忘」,和「世界模型」「记忆增强」是互补方向。
- 思路上类似人脑的睡眠记忆重组,是「受生物启发」路线的又一例。
相关词
灾难性遗忘 · 持续学习 · 记忆巩固 · 终身学习