arXiv · Machine Learning· Junha Park, Jaemyung Yu, Jaehui Hwang, Jong-Seok Lee, Dongyoon Han·· 8 小时前AI 评分43
通过残差门控理解扩散模型训练加速：不让任何通道掉队
No Channels Left Behind: Understanding Diffusion Acceleration through Residual Gates
AI 导读
扩散 Transformer 加速方法 REPA 和 dispersive regularization 会显著重组 AdaLN-Zero 残差门控 α，表明训练加速部分源于残差门控路径的变化，而非仅依赖辅助目标施加的特征结构。
来源：arXiv · Machine Learning · arxiv.org