arXiv · Machine Learning· Zhirayr Tovmasyan, Slavom\'ir Hanzely, Egor Shulgin, Peter Richt\'arik, Sebastian U. Stich·· 10 小时前AI 评分38
Hessian 相似性条件下 SCAFFOLD 的尖锐收敛速率
SCAFFOLD under Hessian Similarity: Sharp Convergence Rates
AI 导读
对 SCAFFOLD 的分析证明，在凸与非凸目标上，其收敛保证都可对 Hessian 相似度呈线性依赖，适用范围超越二次函数。凸目标且使用精确梯度时，运行 R 轮、每轮 K 个本地步骤的目标差距量级为 (L/K+δ)D₀²/R；当 K=Θ(L/δ) 时，较 minibatch SGD 速率提升 Θ(L/δ) 倍。
来源：arXiv · Machine Learning · arxiv.org