跳到正文
arXiv · Machine Learning· Jie Liu, Nicola Bastianello, Wenying Xu, Daniel W. C. Ho·· 8 小时前AI 评分41

多次本地更新下去中心化随机优化的方差缩减方法

Variance Reduction for Decentralized Stochastic Optimization with Multiple Local Updates

AI 导读

研究提出一种结合方差缩减与多次本地更新的原始-对偶去中心化优化算法,其步长与网络规模无关,仅与本地更新次数成反比,而非传统方法的三次方反比。在强凸条件下,该算法首次建立随机梯度场景下的期望线性收敛保证,每轮仅交换一个变量,相比基于梯度跟踪的方法降低一半通信成本。

来源:arXiv · Machine Learning · arxiv.org