研究揭示RLVR采样失配下的熵漂移方向

1. 12:00
   arXiv · Machine Learning

   RLVR 采样器失配下熵漂移的符号定律

   一项关于 RLVR 的研究证明，采样器与 learner 使用的策略不一致时，恒定 advantage 偏移会按采样器特性改变 softmax policy 熵：截断采样使正偏移锐化，平坦采样则使其变平。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。