arXiv · Machine Learning· Datong Zhou, Blake Bordelon·· 9 小时前AI 评分38
Sliding Networks：一类保留特征学习与特征多样性的残差结构
Sliding Networks: A Family of Residual Structures Preserving Feature Learning and Feature Diversity
AI 导读
Sliding Networks研究一类联合缩放的残差结构，旨在网络扩展时同时保留局部最大特征学习与残差流中的特征多样性。其默认关键条件是比例 N_♭/(N_♯L) 趋于 α；理论与残差 MLP 实验支持在固定正 α 下收敛至 SDE 极限。语言模型实验显示，参数量固定时重新组合宽度与深度仍会带来性能差异。
来源：arXiv · Machine Learning · arxiv.org