热点事件持续更新

Monarch-MoE以结构化专家改进持续微调

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

研究团队提出并评估 Monarch-MoE，用固定置换连接的块对角因子替代 LoRA 专家中的稠密因子；在 LLaVA-1.5-7B 的多模态持续指令微调评测中，该方法减少适配器参数，并提高首任务保留率，但最终性能仍因所用方法而异。在 MLLM-DCL 和 UCIT 评测中，首任务遗忘分别低至 0.52 和 0.10 个百分点；适配器参数约减少 75% 和 50%。这些结果来自特定模型和评测设置。

AI 根据报道生成 · 58 分钟前更新

最新进展10月12日 12:00

Monarch-MoE提出面向多模态持续指令微调的结构化专家

报道时间线

沿着报道，了解事件的不同侧面。

10月12日

12:00
arXiv · Machine Learning
Monarch-MoE提出面向多模态持续指令微调的结构化专家
Monarch-MoE提出用由固定置换连接的块对角因子替代LoRA专家中的稠密因子，以隔离块级梯度更新，并在评测中提升首任务保留率、减少适配器参数。在LLaVA-1.5-7B上，适配器参数分别减少约75%和50%；首任务遗忘在MLLM-DCL上低至0.52个百分点，在UCIT上低至0.10个百分点，最终性能存在依赖方法的权衡。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。