热点事件持续更新

梯度法最后迭代收敛率获上下界

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Guy Kornowski 与 Ohad Shamir 更新论文，证明在凸 Lipschitz 函数最小化中，若采用不依赖总步数 T 的固定步长计划，梯度下降（GD）或随机梯度下降（SGD）的最后一次迭代，其最优 anytime 收敛率为 Θ(√(log(T)/T))；SGD 有相应上界，GD 有匹配下界。这意味着，在事先不知道 T 的情况下，最后一次迭代无法达到已知最优的 1/√T 收敛率。

AI 根据报道生成 · 46 分钟前更新

最新进展10月28日 12:00

梯度下降的最后一次迭代往往（略微）次优

报道时间线

沿着报道，了解事件的不同侧面。

10月28日

12:00
arXiv · Machine Learning
梯度下降的最后一次迭代往往（略微）次优
研究证明，对凸 Lipschitz 函数最小化，采用不依赖总步数 T 的固定步长计划时，梯度下降（GD）或随机梯度下降（SGD）最后一次迭代可达到的最优 anytime 收敛率为 Θ(√(log(T)/T)). 上界适用于 SGD，匹配下界适用于 GD；若不预先知道 T，最后迭代无法达到最优的 1/√T 收敛率。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。