黑箱模拟器的时序差分校准

研究提出一种无导数时序差分（TD）框架，利用目标系统的一步转移和模拟器生成的带噪延续值校准黑箱模拟器。框架包含三种随机方向有限差分算法，并证明几乎必然收敛、末次迭代均方误差界及 Polyak-Ruppert 平均的中心极限定理；设定正确时，部分算法可采用固定扰动半径，使收敛率指数接近 1/2。