arXiv · Machine Learning· Zhiyuan Wang, Jacob Steeves, Chang Liu·2026-10-28 12:00· 13 小时前AI 评分50

RLVR 采样器失配下熵漂移的符号定律

A Sign Law for Entropy Drift under Sampler Mismatch in RLVR

AI 导读

一项关于 RLVR 的研究证明，采样器与 learner 使用的策略不一致时，恒定 advantage 偏移会按采样器特性改变 softmax policy 熵：截断采样使正偏移锐化，平坦采样则使其变平。