arXiv · Machine Learning· Ku Onoda, Paavo Parmas, Manato Yaguchi, Yutaka Matsuo·2026-10-28 12:00· 13 小时前AI 评分38

可微模拟器真的能带来更好的策略梯度吗？

Does "Do Differentiable Simulators Give Better Policy Gradients?" Give Better Policy Gradients?

AI 导读

一阶梯度估计可加速强化学习，但不连续动力学会引入偏差；研究发现，受控实验中切换估计器能提升稳健性。DDCG以单一超参数在非光滑区域切换估计器，并在小样本下保持可靠。机器人控制任务中的IVW-H逐步进行逆方差加权以稳定方差，无需显式检测不连续性；实际部署中，方差控制往往更关键。