arXiv · Machine Learning· Jia-Nan Wang, Zixun Huang, Kairui Li, Zilin Wang, Lei Wu·· 11 小时前AI 评分49
大批量训练中的动量：Polyak 扩大临界批量，Nesterov 提升数据效率
Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency
AI 导读
研究分析了单遍训练中动量对大批量训练的影响，并在幂律核回归设定下刻画稳定边界与风险变化。结果显示，Polyak 扩大了保持小批量最佳数据缩放指数的临界批量，使更高并行度成为可能；Nesterov 则凭借前瞻机制抑制噪声累积，在大批量区间提升数据效率。数值实验验证了稳定边界、风险动态和批量大小相图。
来源：arXiv · Machine Learning · arxiv.org