arXiv · Machine Learning· Guy Kornowski, Ohad Shamir·· 10 小时前AI 评分48
梯度下降的最后一次迭代往往（略微）次优
Gradient Descent's Last Iterate is Often (slightly) Suboptimal
AI 导读
研究证明，对凸 Lipschitz 函数最小化，采用不依赖总步数 T 的固定步长计划时，梯度下降（GD）或随机梯度下降（SGD）最后一次迭代可达到的最优 anytime 收敛率为 Θ(√(log(T)/T)). 上界适用于 SGD，匹配下界适用于 GD；若不预先知道 T，最后迭代无法达到最优的 1/√T 收敛率。
来源：arXiv · Machine Learning · arxiv.org