跳到正文
热点事件持续更新

Train4Merge发现RL教师更利于OPD合并

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Jingyuan Huang等研究者比较了强化学习(RL)与监督微调(SFT)训练的教师用于OPD模型合并的效果,报告称在单教师和多教师实验中,RL教师都能训练出更强的学生,并让学生恢复更多教师的性能增益。 实验覆盖 Agentic、Reasoning 和 Perception 三个领域,教师与学生均从同一 Qwen3.5-9B 模型初始化。研究者还报告,RL教师的参数偏移更小,教师与学生输出的 Top-K 重叠度更早上升或持续更高。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv · Machine Learning
    Train4Merge:RL 还是 SFT,哪种能为基于 OPD 的模型合并训练出更好的教师?

    Train4Merge 比较了在 Agentic、Reasoning 和 Perception 三个领域训练 OPD 教师时 RL 与 SFT 的效果,发现 RL 教师在单教师和 MOPD 实验中都能产生更强学生,并实现更高的教师性能增益恢复。教师与学生均从同一 Qwen3.5-9B 初始化;分析显示,RL 教师的参数偏移更小,Teacher–student Top-K 重叠度更早上升或持续更高。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。