arXiv · Machine Learning· Miaobo Hu, Shuhao Hu, Xiaobo Guo, Xin Wang, Bokun Wang, Daren Zha·· 10 小时前AI 评分46
FSPO：面向预算化 LLM 强化学习后训练的策略一致风险与帕累托可行控制
FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training
AI 导读
FSPO 面向预算化 LLM 强化学习后训练，提出反馈状态控制器，联合处理策略一致风险、决策条件轨迹校准和多资源可行性。匹配 GRPO 资源约束下，FSPO 的留出集和 OOD 准确率达 66.11% 和 59.43%，高于 PB2 的 64.47% 和 57.03%。启用三项组件后，轨迹失败率由 0.181 降至 0.083。
来源：arXiv · Machine Learning · arxiv.org