TSBPO：面向交互式语言智能体策略优化的树结构分支方法

TSBPO 提出一种树结构采样与更新训练范式，通过 Root/Branch 分配器、轨迹优势和观测组步优势，优化交互式语言智能体的采样、延迟反馈归因及多 token 动作的策略梯度计算。基于 Qwen2.5-1.5B，在 ALFWorld 上取得 97.79% 的已见任务和 96.64% 的未见任务随机成功率，在 WebShop 的 500 个测试目标上取得 81.07% 的单回合成功率。