跳到正文
热点事件历史事件

线性残差网络训练中宽度与深度极限可交换

1 篇报道1 个报道来源5 天前更新

先了解这件事

AI 综述

Ruijia Zhang 和 Soufiane Hayou 证明，在采用 Depth-μP 深度缩放（残差分支按深度的倒数平方根缩放）和 μP 宽度参数化的线性残差网络中，使用梯度裁剪进行任意固定步数的梯度下降训练时，无论网络宽度与深度以何种联合路径趋于无穷，网络输出都收敛于 L² 意义下的极限，因此有限步训练下的宽度与深度极限可以交换。 这一结论依赖特定的网络参数化和梯度裁剪条件。若不使用梯度裁剪，研究无法一般性地保证 L² 收敛，但证明了网络输出仍可依概率收敛。因此，极限可交换性的严格收敛结论与训练时是否进行梯度裁剪有关。

AI 根据报道生成 · 1 小时前更新

最新进展10月23日 12:00
线性残差网络训练中宽度与深度极限可交换

报道时间线

沿着报道，了解事件的不同侧面。

10月23日
  1. arXiv · Machine Learning
    线性残差网络训练中宽度与深度极限可交换

    研究证明，采用 Depth-μP 深度缩放和 μP 宽度参数化的线性残差网络，在使用梯度裁剪时，经过任意固定步数的梯度下降训练，其网络输出沿任意宽度与深度联合增长路径均收敛于 \(L^2\) 意义下的极限，因此宽度与深度趋于无穷的极限在有限训练过程中可交换。未使用梯度裁剪时，一般无法保证 \(L^2\) 收敛，但可以证明依概率收敛。