arXiv · Machine Learning· Jie Liu, Nicola Bastianello, Wenying Xu, Daniel W. C. Ho·· 8 小时前AI 评分41
多次本地更新下去中心化随机优化的方差缩减方法
Variance Reduction for Decentralized Stochastic Optimization with Multiple Local Updates
AI 导读
研究提出一种结合方差缩减与多次本地更新的原始-对偶去中心化优化算法,其步长与网络规模无关,仅与本地更新次数成反比,而非传统方法的三次方反比。在强凸条件下,该算法首次建立随机梯度场景下的期望线性收敛保证,每轮仅交换一个变量,相比基于梯度跟踪的方法降低一半通信成本。
来源:arXiv · Machine Learning · arxiv.org