arXiv · Machine Learning· Jingyuan Huang, Zuming Huang, Yucheng Shi, Zhongzhi Li, Xiaoming Zhai, Wei Chu, Ninghao Liu·· 9 小时前AI 评分40
Train4Merge：RL 还是 SFT，哪种能为基于 OPD 的模型合并训练出更好的教师？
Train4Merge: RL or SFT---Which Yields Better Teachers for OPD-Based Model Merging?
AI 导读
Train4Merge 比较了在 Agentic、Reasoning 和 Perception 三个领域训练 OPD 教师时 RL 与 SFT 的效果，发现 RL 教师在单教师和 MOPD 实验中都能产生更强学生，并实现更高的教师性能增益恢复。教师与学生均从同一 Qwen3.5-9B 初始化；分析显示，RL 教师的参数偏移更小，Teacher–student Top-K 重叠度更早上升或持续更高。
来源：arXiv · Machine Learning · arxiv.org