arXiv · Machine Learning· Lei Zhao, Zongheng Cao, Xinyu Hu·· 10 小时前AI 评分44
细粒度信用分配何时有益、何时有害：通过视频剪辑研究多模态智能体强化学习
When Fine-Grained Credit Assignment Helps and Hurts: Multimodal Agentic Reinforcement Learning through Video Editing
AI 导读
研究以电影预告片剪辑任务评估多模态智能体强化学习中的细粒度信用分配，发现衰减过程奖励在长时程 Fine Cut 中收益最大。在平均超过60轮的任务上，该方法较仅结果奖励的 GRPO 相对提升45.4%；平均30–40轮的短时程任务中，提升最多为10.4%。固定权重的 GRPO+PRM 会导致过度推理和冗余工具调用，衰减权重可缓解这一问题；OPSD 则收益有限或明显退化。
来源：arXiv · Machine Learning · arxiv.org