arXiv · Machine Learning· Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Dongseop Kim, Sung Ju Hwang·· 10 小时前AI 评分38
PCoreSet：通过视觉语言模型知识蒸馏实现有效主动学习
PCoreSet: Effective Active Learning through Knowledge Distillation from Vision-Language Models
AI 导读
ActiveKD 将主动学习与知识蒸馏结合，利用大规模视觉语言模型的零样本和少样本能力；PCoreSet 则在概率空间而非特征空间选择具有多样性的未标注样本。11 个数据集评测显示，ActiveKD 相比无蒸馏基线在 ImageNet 上平均提升 29.07%。在 5 个学生模型和 3 个教师模型上，PCoreSet 是唯一持续优于 Random 的选择器，除前 2 轮主动学习外均取得最佳表现。
来源：arXiv · Machine Learning · arxiv.org