arXiv · Machine Learning· Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard·· 9 小时前AI 评分35
PriFT：利用预训练先验引导监督微调
PriFT: Guiding Supervised Fine-Tuning with Pretrained Priors
AI 导读
PriFT（Prior-support guided Fine-Tuning）利用冻结的预训练参考模型估算目标 token 的先验支持度，并据此重加权监督微调（SFT），以改善泛化。
来源：arXiv · Machine Learning · arxiv.org