arXiv · Machine Learning· Maxime Dassen, Alexander Martin, Andrew Yates, Reno Kriz, William Walden·· 13 小时前AI 评分47
按需依据：学习视觉语言模型的模态控制
Grounding on Request: Learning Modality Control in Vision-Language Models
AI 导读
研究提出视觉语言模型的按需模态 grounding 学习方法，并以反事实干预检验模型是否遵循用户指定的图像或文本证据。方法只训练视觉与文本 grounding 新词的嵌入，并加入 Counterfactual Twin-Margin（CTM）监督；在三种 VLM、三个既有基准和 Ground-CF 上，学习的模态词比自然语言指令控制更好。
来源：arXiv · Machine Learning · arxiv.org