SCAFFOLD在Hessian相似性下的收敛分析
热点事件持续更新
SCAFFOLD在Hessian相似性下的收敛分析
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
一项研究证明，SCAFFOLD在Hessian相似性条件下的收敛保证对相似度参数呈线性依赖，且分析适用于二次函数以外的目标。凸目标使用精确梯度时，运行R轮、每轮K个本地步骤，目标差距量级为(L/K+δ)D₀²/R；当K=Θ(L/δ)时，速率较minibatch SGD提升Θ(L/δ)倍。非凸情形的驻点保证则针对一种客户端选择变体，并要求统一的Hessian相似性条件。 研究还指出，在部分客户端参与时，即使客户端完全相同，增加本地步骤也未必能获得全部通信收益。
AI 根据报道生成 · 43 分钟前更新
最新进展10月28日 12:00
Hessian 相似性条件下 SCAFFOLD 的尖锐收敛速率报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine LearningHessian 相似性条件下 SCAFFOLD 的尖锐收敛速率
对 SCAFFOLD 的分析证明，在凸与非凸目标上，其收敛保证都可对 Hessian 相似度呈线性依赖，适用范围超越二次函数。凸目标且使用精确梯度时，运行 R 轮、每轮 K 个本地步骤的目标差距量级为 (L/K+δ)D₀²/R；当 K=Θ(L/δ) 时，较 minibatch SGD 速率提升 Θ(L/δ) 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。