arXiv · Machine Learning· Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li·· 13 小时前AI 评分53
《Unbiased Alignment for Large Language Models with Noisy Preferences》提出面向噪声偏好的无偏对齐方法
Unbiased Alignment for Large Language Models with Noisy Preferences
AI 导读
该论文提出 Unbiased Reward Model（URM）loss 和 Unbiased Direct Preference Optimization（UDPO）loss，用数学校正偏好噪声造成的失真，使大语言模型能够直接利用噪声数据训练而无需干净标注监督。
来源：arXiv · Machine Learning · arxiv.org