未知时域下裁剪SGD速率确定

Peng、Tang和Jia确定了平滑凸目标在重尾噪声下，裁剪 SGD 最后迭代的未知时域最优全时域收敛率：在仅有中心 p 阶矩有界、1<p≤2 时，无需输入时域或置信度的步长与裁剪阈值安排可达到约为 \tilde O(t^{-β_p}) 的速率，其中 β_p=2(p−1)/(3p−1)，且对所有时刻同时成立、也几乎必然成立。 研究还证明，沿当前迭代点的随机梯度更新的任何规则，即使自适应调整步长和阈值，也无法达到指数高于 β_p 的速率。已知时域时可达到更快的 O(T^{-α_p})；若改为在运行平均点查询梯度，则可恢复该速率，而带几何遗忘的重球动量在多项式有界步长下不能突破 β_p。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。