arXiv · Machine Learning· Bangti Jin, Longjun Wu·· 10 小时前AI 评分30
微分神经切线核在正交群作用下的对称性
The Symmetry of Differential Neural Tangent Kernel under the Orthogonal Group
AI 导读
研究分析了两层及深层神经网络的无限微分神经切线核（DNTK）在正交群作用下的对称性，结论适用于有偏置或无偏置的各类激活函数。研究证明，同一群轨道上的积分算子具有相同谱，其再生核希尔伯特空间仅相差正交变换；对称算子对应的固定 DNTK 在单位球面上呈现 zonal 对称性。对于 RePU 激活、零偏置初始化的浅层网络，可据此推导相关积分算子的特征值衰减率。
来源：arXiv · Machine Learning · arxiv.org