arXiv · Machine Learning· Wen Ye, Yuxiao Qu, Aviral Kumar, Xuezhe Ma·· 23 小时前AI 评分54
MIRROR 通过跨视图自蒸馏优化多模态推理
MIRROR: Learning from the Other View for Multi-Modal Reasoning
AI 导读
论文提出 MIRROR，一种利用模型自身模态差异进行跨视图自蒸馏的强化学习方法，以提升多模态推理表现。研究构建了 ODA-Data，包含同一几何题的文本主导、图像主导和图文结合视图；MIRROR 选择表现最佳的视图作为教师，并用加入反向 KL 正则项的 GRPO 任务奖励目标训练其他视图。实验显示，该方法在多模态数学推理基准上优于标准强化学习，并提升不同输入模态表示下的准确性和一致性。
来源：arXiv · Machine Learning · arxiv.org