arXiv · Machine Learning· Xi Zhang, Boyu Diao, Zesen Chen, Ruiqi Liu, Hangda Liu, Yongjun Xu·· 8 小时前AI 评分56
Monarch-MoE提出面向多模态持续指令微调的结构化专家
Monarch-MoE: Structured Experts for Multimodal Continual Instruction Tuning
AI 导读
Monarch-MoE提出用由固定置换连接的块对角因子替代LoRA专家中的稠密因子，以隔离块级梯度更新，并在评测中提升首任务保留率、减少适配器参数。在LLaVA-1.5-7B上，适配器参数分别减少约75%和50%；首任务遗忘在MLLM-DCL上低至0.52个百分点，在UCIT上低至0.10个百分点，最终性能存在依赖方法的权衡。
来源：arXiv · Machine Learning · arxiv.org