幂律动态步长加速极小极大优化
热点事件持续更新
幂律动态步长加速极小极大优化
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Yue Wu、Weiqiang Zheng、Yang Cai 和 Haipeng Luo 提出基于幂律分布的动态步长调度策略,加速无约束双仿射 Min-Max 优化中的 Extragradient(EG)方法收敛。同一步长设置下,该方法将最后迭代收敛率提升至 O(T^{-2/3+ε})。 研究进一步发现,若将 EG 的外推步骤与更新步骤采用不同步长,收敛率可提升至近乎最优的 O(T^{-1+ε})。研究还将步长调度策略及分析扩展至 Optimistic Gradient(OG)方法,显示该方案可用于更广泛的极小极大优化问题。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
通过幂律步长加速 Min-Max 优化报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv · Machine Learning通过幂律步长加速 Min-Max 优化
研究提出基于幂律分布的动态步长调度策略,加速 Extragradient(EG)方法在无约束双仿射 Min-Max 优化中的最后迭代收敛。同一步长下,收敛率提升至 O(T^{-2/3+ε});为外推和更新步骤采用不同步长时,可进一步达到近乎最优的 O(T^{-1+ε})。该策略还可扩展至 Optimistic Gradient(OG)等方法。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。