RW-DPO通过可靠性加权提升偏好学习鲁棒性

Bin Luo、Param Venkat Vivek Kesireddy 和 Anil Vallepu 提出 RW-DPO，通过为每条偏好比较设置可靠性权重，并使用最小最大凹惩罚联合估计权重与模型策略，降低错误偏好标签对训练的影响。模型一致的比较保留权重 1，被模型判定为不可靠的比较则降低权重，反向标签可赋予权重 0。 研究证明，在初始偏好方向正确的线性索引模型中，当比较差异（margin）达到对数级条件时，即使存在固定比例的标签翻转，也能一致估计偏好方向和可靠性权重，并识别翻转标签。语言模型 DPO 微调实验中，在 10%–30% 标签翻转条件下，RW-DPO 的胜率没有随错误标签比例增加而下降，且高于使用干净标签训练的标准 DPO，表现与近期最强的纠错方法相当。该结果属于论文报告的理论与实验结论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。