arXiv · Machine Learning· Yeseul Cho, Hanseul Cho, Chulhee Yun·· 13 小时前AI 评分36
ESCal:用于多任务模型合并的错误子空间校准
Error-Subspace Calibration for Multi-Task Model Merging
AI 导读
ESCal 提出一种模型合并后的校准框架,通过专家模型与合并模型的权重差异识别低维错误子空间,并在中间块边界学习线性映射进行特征修正。实验显示,该方法在视觉和自然语言理解基准上,结合多种架构与合并方法均能提升合并模型性能,仅需为各任务使用少量校准数据。
来源:arXiv · Machine Learning · arxiv.org