arXiv · Machine Learning· Xiangchi Yuan, Xingjian Diao, Zheyuan Liu, Chunhui Zhang, Dachuan Shi, Kejing Xia, Zhenbang Du, Shenglong Yao, Soroush Vosoughi, Wenke Lee·· 8 小时前AI 评分36
PAPO：多奖励策略优化中的优先级保持优势聚合
Priority-Preserving Advantage Aggregation for Multi-Reward Policy Optimization
AI 导读
PAPO（Primary Advantage Policy Optimization）针对多奖励策略优化中的“优势优先级反转”问题，采用非对称优势聚合，在目标一致时保留辅助监督、冲突时平滑削弱辅助信号。该方法适用于 GRPO 的序列级优势和 actor–critic PPO 的 token 级优势，在多个领域和模型实验中持续取得最佳主要目标表现，同时保持最佳或有竞争力的辅助目标表现。
来源：arXiv · Machine Learning · arxiv.org