Google Research提出持续学习睡眠框架
热点事件持续更新
Google Research提出持续学习睡眠框架
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
Google Research提出面向大语言模型持续学习的“睡眠框架”,让模型通过周期性主动交互和离线巩固,把短期上下文转为长期参数记忆。 该框架在睡眠阶段扩展 MoE 记忆模块,并用模型自生成的练习样例更新权重。Google Research称,框架可吸收新事实、保留长达 1000 万 tokens 的长上下文知识并提升复杂推理;运行依赖固定模型架构和人工定义的训练规则。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 01:35
睡眠框架:让 LLM 在持续学习中保留知识的新方法报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- Google Research Blog睡眠框架:让 LLM 在持续学习中保留知识的新方法
Google Research提出睡眠框架,让LLM通过周期性的主动交互与离线记忆巩固持续学习。该框架在睡眠阶段扩展 MoE 记忆模块并用自生成练习样例更新权重,使模型能够吸收新事实、保留长达 10M tokens 的长上下文知识,并提升复杂推理能力;其运行遵循固定模型架构和人工定义的训练规则。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。