Geo-FSRL 提出少步流强化学习策略几何优化方法

Zhuguanyu Wu 等作者提出 Geo-FSRL，通过最小化条件 KL 散度优化少步流强化学习中的随机策略，并推导出闭式最优解。该方法针对固定条件状态和时间步，选择能使速度输出更新引起的条件 KL 散度最小的策略；在保持系数不变的各向同性高斯转移分布族中，优化可归结为最小化一个标量几何因子。 Geo-FSRL 还推导了策略梯度和 KL 权重，以匹配不同时间步的梯度尺度。训练时保留原有少步时间步调度，推理时继续使用确定性求解器。在 4 步图像生成和视频生成实验中，该方法的最终奖励分数均高于 Flow-GRPO 和 Flow-CPS。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。