arXiv · Machine Learning· Christian Moya, Purav Matlia, Elliott Thornley, Guang Lin·· 10 小时前AI 评分37
选择性平局学习：缓解偏好优化中的虚假相关性
Selective Tie Learning: Mitigating Spurious Correlations in Preference Optimization
AI 导读
选择性平局学习通过挑选预测纠偏效果更强的平局样本，减少偏好优化对虚假相关性的依赖。在对数线性策略、神经模型和大型语言模型上，该选择规则用更少平局样本实现了与均匀选择相当的虚假依赖降幅；隐式奖励边际可作为预测影响的代理。
来源：arXiv · Machine Learning · arxiv.org