arXiv · Machine Learning· Chengtao Jian, Kai Yang·· 1 天前AI 评分47
TPO：面向 OOD 直接偏好优化的三层分布鲁棒学习
TPO: Tri-level Distributionally Robust Learning for OOD Direct Preference Optimization
AI 导读
TPO提出面向OOD偏好对齐的三层分布鲁棒框架，联合建模群组级、提示级和偏好级分布不确定性。基于Wasserstein距离，框架结合偏好级闭式边际惩罚、提示级对抗嵌入扰动和最坏情况群组重加权。研究给出有限样本收敛保证，并通过实验验证TPO优于现有鲁棒DPO方法。
来源：arXiv · Machine Learning · arxiv.org