跳到正文
arXiv · Machine Learning· John J. Vastola·· 13 小时前AI 评分37

学习稳定性分析:间歇且含噪梯度可能导致不稳定

On the stability of learning

AI 导读

研究指出,梯度信息含噪且间歇可用时,学习过程可能不稳定;即使平均学习动态收敛到正确最优点,学习方差仍可能渐近无穷。作者在单层和多层线性网络等可解析情形中推导稳定条件,并指出无偏信用分配不足以保证可靠学习,还需要足够频繁且有信息量的反馈。

来源:arXiv · Machine Learning · arxiv.org