arXiv · Machine Learning· Ilay Kamai, Hugues Van Assel, Aviv Regev, Hagai B. Perets, Randall Balestriero·· 17 小时前AI 评分70
多模态学习何时应对齐、何时应预测：一张相位图
When to Align, When to Predict: A Phase Diagram for Multimodal Learning
AI 导读
该论文在带结构化跨模态干扰相关性的信号加噪模型下，分析跨模态对齐（CA）与跨模态预测（CP）的恢复条件。研究将问题划分为 Both、CA only、CP only 和 Neither 四个区域，并用恢复数量区分部分恢复与完全失败。作者还提出利用少量标注子样本，在跨模态训练前选择目标和预测方向的方法，并在合成数据、立体视觉、图像与标题配对、天文学和单细胞多组学数据上进行了实验。
来源：arXiv · Machine Learning · arxiv.org