arXiv · Machine Learning· Lars van der Laan, Vasilis Syrgkanis, Nathan Kallus·· 13 小时前AI 评分39
通过成对 Bellman 验证（PBV）进行离策略评估的模型选择
Model Selection for Off-Policy Evaluation via Pairwise Bellman Validation
AI 导读
研究提出成对 Bellman 验证（PBV），以无需调参的 minimax 程序，在离策略评估中选择拟合 Q 函数和占用率比估计器。该方法利用候选模型两两差异及留出转移上的有限经验矩计算，无需辅助验证模型或单独优化 critic，并给出有限样本 oracle 不等式。在 Hopper 和 Deep OPE 上，无权重 PBV 表现有竞争力；重叠受控时，目标占用率加权可改善表现。
来源：arXiv · Machine Learning · arxiv.org