论文提出DLC校正大模型强化学习训练与推理失配

Yu Li、Yufa Zhou 和 Tian Lan 提出 discrepancy-lag correction（DLC），用于校正大语言模型强化学习中的训练与推理失配。论文将失配分为推理引擎造成的数值差异，以及异步采样造成的策略滞后，并报告 DLC 可在陈旧采样器下限制训练与 on-policy 训练之间的 KL 散度。该方法并非总能奏效：在 Qwen3-1.7B 上，当比率的有效样本量低于一半时，DLC 会失效。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。