arXiv · Machine Learning· Fatema Siddika, Abhijit Chunduru, Zilinghan Li, Ali Jannesari, Ravi Madduri·· 13 小时前AI 评分34
FedSEAM：通过子空间专家一致性合并实现 LLM 的联邦持续学习
FedSEAM: Federated Continual Learning of LLMs via Subspace Expert Agreement Merging
AI 导读
FedSEAM提出面向大语言模型的联邦持续学习框架，将任务知识组织为稀疏专家，并通过子空间专家一致性合并（SEAM）仅沿客户端更新一致的方向推动共识，保留其余更新。框架针对路由漂移和合并擦除设置三项保护，其中一项在每次合并时精确保留选定先前重叠子空间中的 tile 组件；研究使用 Qwen3-4B、Llama-3.2-3B 在 TRACE 上评估。
来源：arXiv · Machine Learning · arxiv.org