论文解释深度网络几何连续性来源
热点事件持续更新
论文解释深度网络几何连续性来源
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Kyungwon Jeong、Won-Gi Paeng和Honggyo Suh发表论文称，基于玩具 MLP 和小型 Transformer 的实验，深度神经网络层间的几何连续性主要由残差连接与旋转对称性破缺共同形成。 论文称，残差连接使跨层梯度更一致，从而对齐权重更新；破缺旋转对称性的非线性则将各层约束在共享坐标系中，避免权重结构发生旋转漂移。旋转等变激活的连续性不到 ReLU 的一半。在 Transformer 中，Q、K、Gate、Up 表现出输入空间连续性，O、Down 表现出输出空间连续性，V 的连续性较低。
AI 根据报道生成 · 43 分钟前更新
最新进展10月28日 12:00
深度神经网络为何会出现几何连续性：残差连接与旋转对称性破缺报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine Learning深度神经网络为何会出现几何连续性：残差连接与旋转对称性破缺
该研究通过玩具 MLPs 和小型 transformers 的实验，解释深度网络层间几何连续性由残差连接与旋转对称性破缺共同形成。残差连接对齐跨层权重更新，破缺对称性的非线性将各层约束在共享坐标系中；旋转等变激活的连续性不到 ReLU 的一半。在 transformers 中，Q、K、Gate、Up 呈输入空间连续性，O、Down 呈输出空间连续性，V 仅表现出低连续性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。