arXiv · Machine Learning· Ruijia Zhang, Soufiane Hayou·· 5 天前AI 评分37
线性残差网络训练中宽度与深度极限可交换
Width and Depth Limits Commute During Training in Linear Residual Networks
AI 导读
研究证明，采用 Depth-μP 深度缩放和 μP 宽度参数化的线性残差网络，在使用梯度裁剪时，经过任意固定步数的梯度下降训练，其网络输出沿任意宽度与深度联合增长路径均收敛于 \(L^2\) 意义下的极限，因此宽度与深度趋于无穷的极限在有限训练过程中可交换。未使用梯度裁剪时，一般无法保证 \(L^2\) 收敛，但可以证明依概率收敛。
来源：arXiv · Machine Learning · arxiv.org