提出非配对多模态联邦学习框架

Anders Eklund 提出一种面向非配对多模态数据的联邦学习框架，使分布式节点能够共同训练全局多模态 Transformer，无需共享私有样本或集中存储数据。该框架针对不同节点持有不同模态、数据之间没有共同样本的情况，尝试实现跨节点的统一表示学习。 具体方法包括引入小规模公共锚点集，结合 centered kernel alignment（CKA）对齐不同模态的语义表示，并通过子空间稳定微调和精度加权平均处理大型 Transformer 的联邦训练及节点间的不确定性差异。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。