arXiv · Machine Learning· John J. Vastola, Kanaka Rajan·· 8 小时前AI 评分35
噪声线性循环神经网络学习动力学的理论
A theory of noisy linear recurrent neural network learning dynamics
AI 导读
一项理论分析表明，内在噪声会显著调节循环神经网络（RNN）的表示学习，并打破解空间简并性，甚至决定非简并解是否存在。在线性激活、白噪声输入的可解析模型中，噪声会影响 read-in、readout 和 recurrent 权重的对齐方向；当参数尺度受正则化等因素限制时，噪声足够高还会产生相变，使非简并解不再最优。
来源：arXiv · Machine Learning · arxiv.org