arXiv · Machine Learning· Yuxing Peng, Zhiqing Tang, Weijia Jia·· 10 小时前AI 评分43
重尾噪声下未知时域对裁剪 SGD 最后迭代的代价
The Cost of an Unknown Horizon for the Last Iterate of Clipped SGD under Heavy-Tailed Noise
AI 导读
该研究确定了平滑凸目标在重尾噪声下，裁剪 SGD 最后迭代面对未知时域的最优全时域收敛率，结论适用于自适应步长和阈值。该速率介于已知时域的 O(T^{-α_p}) 与既有全时域 \tilde O(t^{-2(p-1)/(3p)}) 之间；有限方差时，已知时域、新速率和既有速率的指数依次为 1/2、2/5 和 1/3。
来源：arXiv · Machine Learning · arxiv.org