无限规模ResNet训练动力学可化为Gaussian Mean ODE
热点事件持续更新
无限规模ResNet训练动力学可化为Gaussian Mean ODE
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Louis-Pierre Chaintron、Lénaïc Chizat 和 Javier Maass 提出了一种描述无限规模残差网络（ResNet）训练动力学的方法：在随机初始化并采用梯度下降（GD）训练时，随着网络宽度、深度以及嵌入、输入和输出维度共同趋于无穷，模型的极限训练动力学可简化为具有高斯初始权重的 Neural Mean ODE 上的梯度下降。 该分析涵盖标准形状缩放和允许局部特征最大幅度更新的 1/深度分支缩放，并适用于总体风险和经验风险训练。研究还将这一描述扩展到混合专家（Mixture of Experts）模型，其极限动力学可表示为嵌套的 Mean ODE。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
无限残差网络（Infinite ResNets）的训练动力学可描述为高斯均值 ODE报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · Machine Learning无限残差网络（Infinite ResNets）的训练动力学可描述为高斯均值 ODE
研究揭示了无限规模极限下 ResNet 的训练动力学可简化为具有高斯初始权重的 Neural Mean ODE 上的梯度下降（GD）。该分析涵盖宽度、深度及嵌入、输入和输出维度同时趋于无穷的情形，并推导出依赖 ResNet 结构和数据协方差谱的近似缩放定律。研究还将这一方法扩展至 Mixture of Experts 模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。