arXiv · Machine Learning· Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Sung Ju Hwang·· 10 小时前AI 评分49
双头优化实现简单而有效的视觉语言模型半监督知识蒸馏
Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization
AI 导读
研究提出双头优化（DHO），将视觉语言模型能力蒸馏到任务模型，以缓解监督损失与蒸馏损失之间的梯度冲突。跨15个数据集的实验显示，DHO持续优于蒸馏基线，且常以更小的学生模型超过教师模型，并在ImageNet半监督学习和ImageNet变体的分布外泛化上达到新SOTA。方法计算开销小，测试时可调超参数而无需重新训练。
来源：arXiv · Machine Learning · arxiv.org