MOSAIC提出模态分区梯度路由架构

Aryan Chowdhury、Yizheng Sun、Thomas Carroll 和 Riza Batista-Navarro 提出 MOSAIC 多模态学习架构，通过保留各模态的独立表示、控制模态间交叉注意力，并使用模态专属损失将梯度路由至对应分区，以缓解多任务学习中的任务与模态依赖失衡。 在日常日语对话语料库 CEJC 的四项任务中，MOSAIC 相比融合式基线使平均 macro-F1 提高 7.4 个百分点，同时减少 72% 的骨干网络参数。这些结果表明，该架构在该数据集和任务范围内兼顾了任务表现与模型参数效率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。