arXiv · Machine Learning· Kyungwon Jeong, Won-Gi Paeng, Honggyo Suh·· 10 小时前AI 评分40
深度神经网络为何会出现几何连续性：残差连接与旋转对称性破缺
Why Geometric Continuity Emerges in Deep Neural Networks: Residual Connections and Rotational Symmetry Breaking
AI 导读
该研究通过玩具 MLPs 和小型 transformers 的实验，解释深度网络层间几何连续性由残差连接与旋转对称性破缺共同形成。残差连接对齐跨层权重更新，破缺对称性的非线性将各层约束在共享坐标系中；旋转等变激活的连续性不到 ReLU 的一半。在 transformers 中，Q、K、Gate、Up 呈输入空间连续性，O、Down 呈输出空间连续性，V 仅表现出低连续性。
来源：arXiv · Machine Learning · arxiv.org