Train4Merge发现RL教师更利于OPD合并
热点事件持续更新
Train4Merge发现RL教师更利于OPD合并
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Jingyuan Huang等研究者比较了强化学习(RL)与监督微调(SFT)训练的教师用于OPD模型合并的效果,报告称在单教师和多教师实验中,RL教师都能训练出更强的学生,并让学生恢复更多教师的性能增益。 实验覆盖 Agentic、Reasoning 和 Perception 三个领域,教师与学生均从同一 Qwen3.5-9B 模型初始化。研究者还报告,RL教师的参数偏移更小,教师与学生输出的 Top-K 重叠度更早上升或持续更高。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 12:00
Train4Merge:RL 还是 SFT,哪种能为基于 OPD 的模型合并训练出更好的教师?报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv · Machine LearningTrain4Merge:RL 还是 SFT,哪种能为基于 OPD 的模型合并训练出更好的教师?
Train4Merge 比较了在 Agentic、Reasoning 和 Perception 三个领域训练 OPD 教师时 RL 与 SFT 的效果,发现 RL 教师在单教师和 MOPD 实验中都能产生更强学生,并实现更高的教师性能增益恢复。教师与学生均从同一 Qwen3.5-9B 初始化;分析显示,RL 教师的参数偏移更小,Teacher–student Top-K 重叠度更早上升或持续更高。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。