arXiv · Machine Learning· Yanxing Huang, Bingzhang Yan, Zihan Tang, Wenzhe Li, Peng Li, Yang Liu·· 10 小时前AI 评分36
从分布匹配视角看 LLM 训练算法
A Distribution-Matching Perspective on LLM Training Algorithms
AI 导读
研究提出基于分布匹配的统一框架，将多类大语言模型训练算法解释为最小化模型与目标分布间的散度。结果显示，模型接近目标分布时，OPD 优于经典 KD，距离较远时则相反；模型相关的目标分布可能因估计方差累积而确定性退化。Conditional KL（CKL）正则化可缓解退化、保留模式多样性，并放宽经典 KL 对奖励提升的约束。
来源：arXiv · Machine Learning · arxiv.org