arXiv · Machine Learning· Andrew Gao, William Gao·2026-11-02 13:00· 1 天前AI 评分57

bf16 舍入会静默丢弃大部分 RL 策略更新，Fair Cast 提出无偏舍入修复方法

bf16 Rounding Silently Discards Most RL Policy Updates: A Hidden Training-Inference Mismatch and an Unbiased One-Line Fix

AI 导读

论文指出，语言模型强化学习后训练中，fp32 主权重以 round-to-nearest 转换为 bf16 推理副本时，大部分单步更新会因数值间距限制而被丢弃。