arXiv · Machine Learning· Yingping Wang, Min Cai, Chenyu Yuan, Xi Ye, Zhijiang Guo, Jiayi Huang·· 8 小时前AI 评分46
DoubleFree：利用探索历史实现免 rollout 的多任务 LLM 训练
DoubleFree:Exploiting Exploration History for Rollout-Free Multi-Task LLMs Training
AI 导读
DoubleFree复用领域强化学习训练中积累的历史轨迹，实现免 rollout 的多任务 LLM 整合训练，并预先计算教师监督，避免训练时让教师模型保持在线。在 Qwen3-4B、Qwen3-8B 和 SmolLM3-3B 的数学、代码及指令遵循任务上，整合速度提升 2.99–5.75 倍，GPU-hours 减少 80.9%–90.1%，同时保持可比的多领域性能。
来源：arXiv · Machine Learning · arxiv.org