arXiv · Machine Learning· Zichen Bai, Yanli Wang, Yang Liu, Junhao Shi, Xueqin Liu, Jinguo Sun, Muye Li, Shaoqiang Zheng, Xuefei Diao, Zhuwei Zeng, Nan Duan, Peng Cao·· 8 小时前AI 评分48
Li²SAO：通过组相对 Actor-Critic 引导优化轻量级单 Rollout 异步强化学习
Li$^{2}$SAO: Lifting Light Singl-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping
AI 导读
Li²SAO 提出一种组相对 Actor-Critic 引导方法，改进无需预训练价值模型的轻量级单 Rollout 异步强化学习优化。在 Critic 尚未充分训练时，使用组相对优势训练 Actor、组中心化回报训练 Critic，随后切换至单 Rollout GAE。实验显示，Li²SAO 在训练早期追平或超越 GRPO，并进一步提升后期性能上限。
来源：arXiv · Machine Learning · arxiv.org