无限残差网络（Infinite ResNets）的训练动力学可描述为高斯均值 ODE

研究揭示了无限规模极限下 ResNet 的训练动力学可简化为具有高斯初始权重的 Neural Mean ODE 上的梯度下降（GD）。该分析涵盖宽度、深度及嵌入、输入和输出维度同时趋于无穷的情形，并推导出依赖 ResNet 结构和数据协方差谱的近似缩放定律。研究还将这一方法扩展至 Mixture of Experts 模型。