arXiv · Machine Learning· Bin Luo, Param Venkat Vivek Kesireddy, Anil Vallepu·· 8 小时前AI 评分50
RW-DPO：通过可靠性加权与惩罚机制提升偏好学习的鲁棒性
Reliability-Weighted Direct Preference Optimization: Penalized Weights for Robust Preference Learning
AI 导读
RW-DPO 为每条偏好比较引入可靠性权重，并通过最小最大凹惩罚联合估计权重与策略，使模型一致的比较保持权重为 1，仅降低模型不认同的比较权重。理论证明其可在满足对数级 margin 条件时识别翻转标签；在 10-30% 标签翻转的语言模型 DPO 微调中，胜率不会随翻转比例增加而下降，且超过使用干净标签训练的 DPO。
来源：arXiv · Machine Learning · arxiv.org