arXiv · Machine Learning· Zhichao Wang, Michael W. Mahoney·· 8 小时前AI 评分58
随机舍入下的 SGD 缩放定律研究：精度、训练时间与模型规模如何权衡？
Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding
AI 导读
Zhichao Wang 和 Michael W. Mahoney 研究随机舍入（SR）如何影响低精度训练中的预测误差，并分析模型规模、训练时间和数值精度之间的关系。
来源：arXiv · Machine Learning · arxiv.org