噪声如何改变线性RNN学习动力学
热点事件持续更新
噪声如何改变线性RNN学习动力学
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
John J. Vastola与Kanaka Rajan提交的一项理论研究发现，在采用线性激活、白噪声输入的可解析RNN模型中，噪声会改变输入、输出和循环权重的对齐方向；噪声足够高且参数尺度受限时，非简并解甚至不再最优。 这一结果针对权重以小值初始化的“rich regime”，说明噪声可能打破解的简并，并影响非简并解是否最优。
AI 根据报道生成 · 59 分钟前更新
最新进展10月28日 12:00
噪声线性循环神经网络学习动力学的理论报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine Learning噪声线性循环神经网络学习动力学的理论
一项理论分析表明，内在噪声会显著调节循环神经网络（RNN）的表示学习，并打破解空间简并性，甚至决定非简并解是否存在。在线性激活、白噪声输入的可解析模型中，噪声会影响 read-in、readout 和 recurrent 权重的对齐方向；当参数尺度受正则化等因素限制时，噪声足够高还会产生相变，使非简并解不再最优。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。