arXiv · Machine Learning· Aryan Chowdhury, Yizheng Sun, Thomas Carroll, Riza Batista-Navarro·· 8 小时前AI 评分37
MOSAIC:通过模态分区梯度路由解决多任务学习中的任务-模态依赖失衡
MOSAIC: Addressing Disproportionate Task-Modality Dependencies via Modality-Partitioned Gradient Routing
AI 导读
MOSAIC 提出一种模态分离架构(MOdality-Separated Architecture with Inter-modal Cross-attention),通过保留单模态表示、控制跨模态交互,并利用模态专属损失将梯度路由至对应分区。在 CEJC 数据集的四项任务中,该方法使平均 macro-F1 提高 7.4 个点,同时相比融合式基线减少 72% 的骨干网络参数。
来源:arXiv · Machine Learning · arxiv.org