跳到正文
arXiv · Machine Learning· Aryan Chowdhury, Yizheng Sun, Thomas Carroll, Riza Batista-Navarro·· 8 小时前AI 评分37

MOSAIC:通过模态分区梯度路由解决多任务学习中的任务-模态依赖失衡

MOSAIC: Addressing Disproportionate Task-Modality Dependencies via Modality-Partitioned Gradient Routing

AI 导读

MOSAIC 提出一种模态分离架构(MOdality-Separated Architecture with Inter-modal Cross-attention),通过保留单模态表示、控制跨模态交互,并利用模态专属损失将梯度路由至对应分区。在 CEJC 数据集的四项任务中,该方法使平均 macro-F1 提高 7.4 个点,同时相比融合式基线减少 72% 的骨干网络参数。

来源:arXiv · Machine Learning · arxiv.org