随机梯度下降最优步长的精确理论

Benjamin Grimmer 和 Qining Shen 提出了光滑凸优化中随机梯度下降（SGD）的精确最坏情况分析，并给出了极小极大意义下的最优步长调度方案。研究针对维度 d≥N+1 的问题，精确分析 SGD 最终迭代点的期望次优性，并证明在特定噪声条件下，最优步长方案唯一。 该理论适用于梯度噪声条件均值为零、方差有界的情形，允许 N 次迭代采用不同步长，步长范围为 [0,1.5]。当噪声方差上界至少达到 Ω(1/√N) 时，研究证明所给步长调度方案具有极小极大最优性，并且是唯一的。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。