arXiv · Machine Learning· Haiwen Yi, Xinyuan Song·· 17 小时前AI 评分68
ManifoldFlow:通过 SPD 松弛实现可学习谱的 Stiefel 优化
ManifoldFlow: Spectrum-Learnable Stiefel Optimization via SPD Relaxation
AI 导读
ManifoldFlow 提出一种可学习谱的 Stiefel 优化方法,通过 W=QS^{1/2} 将方向几何与谱缩放分离,其中 QᵀQ=I 且 S≻0。该方法利用被 Stiefel 约束排除的梯度更新有界 SPD 谱,并保持 WᵀW=S 的谱可解释性,在多项任务中优于固定谱 Stiefel 基线,循环语言建模中的增益尤其明显。
来源:arXiv · Machine Learning · arxiv.org