联邦学习如何利用非配对多模态数据训练基础模型

研究提出一种面向分布式、非配对多模态数据的联邦学习框架，使全局多模态 Transformer 能在不共享私有样本、不集中存储数据的情况下学习统一表示。框架利用小规模公共锚点集和 centered kernel alignment 实现跨模态语义对齐，并引入子空间稳定微调与精度加权平均，处理大型 Transformer 的联邦训练及节点不确定性差异。