arXiv · Machine Learning· Yue Wu, Weiqiang Zheng, Yang Cai, Haipeng Luo·· 8 小时前AI 评分49
通过幂律步长加速 Min-Max 优化
Accelerating Min-Max Optimization via Power-Law Stepsizes
AI 导读
研究提出基于幂律分布的动态步长调度策略，加速 Extragradient（EG）方法在无约束双仿射 Min-Max 优化中的最后迭代收敛。同一步长下，收敛率提升至 O(T^{-2/3+ε})；为外推和更新步骤采用不同步长时，可进一步达到近乎最优的 O(T^{-1+ε})。该策略还可扩展至 Optimistic Gradient（OG）等方法。
来源：arXiv · Machine Learning · arxiv.org