arXiv · Machine Learning· Zixuan Xu, Haoxuan Chen, Jiangxin Sun, Jian-Fang Hu·· 8 小时前AI 评分33
GPDPO：通过组帕累托支配策略优化从奖励冲突中学习
GPDPO: Learning from Reward Conflicts via Group Pareto-Dominance Policy Optimization
AI 导读
GPDPO提出一种多奖励策略优化方法，从经过冲突过滤的 rollout 中恢复成对监督：识别采样响应间的帕累托支配关系，并将其转为辅助偏好信号，与原策略目标联合优化，无需额外采样或奖励评估。API-Bank 多种模型规模与奖励配置的实验显示，GPDPO持续优于有竞争力的多奖励优化基线，并降低组相对及成对奖励冲突。
来源：arXiv · Machine Learning · arxiv.org