跳到正文
arXiv · Machine Learning· Edric Tam, Qingyang Liu, Barbara Engelhardt, Ray Bai·· 10 小时前AI 评分43

推前深度生成模型中的内在梯度障碍

Intrinsic Gradient Barriers in Pushforward Deep Generative Models

AI 导读

研究证明,将对数凹源分布映射到重尾或多模态目标分布时,推前深度生成模型的映射梯度与 Jacobian 存在内在下界,困难源于传输问题,而非特定网络架构或训练方法。目标分布矩增大或模态间低概率区域会迫使梯度增大,形成表达能力与数值稳定性的权衡。针对密度近似,双射重参数化可缓解几何困难并降低生成映射的梯度负担,数值实验支持理论分析。

来源:arXiv · Machine Learning · arxiv.org