随机舍入 SGD 的精度与计算缩放定律

Zhichao Wang 和 Michael W. Mahoney 从理论上分析了随机舍入（SR）对随机梯度下降（SGD）预测误差的影响，推导了数值精度、模型规模与训练时间之间的计算最优权衡关系。 研究采用具有固定随机第一层的两层线性网络，在具有幂律谱的新鲜高斯数据上进行小批量 SGD 训练，并在每一步中独立舍入前向和反向计算所用的特征。在固定数值精度、恒定学习率和参数平均的条件下，作者推导了预测误差随计算量增加而下降的规律，并确定了实现最优计算缩放的模型规模与训练时间配置。 这项结果为理解低精度训练中的精度需求及计算资源分配提供了理论依据，但结论针对上述特定网络和数据设定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。