arXiv · Machine Learning· Taishi Watanabe, Ryo Karakida, Jun-nosuke Teramae·2026-10-28 12:00· 13 小时前AI 评分40

各向异性协方差结构对线性网络训练动态与泛化误差的影响

The Impact of Anisotropic Covariance Structure on the Training Dynamics and Generalization Error of Linear Networks

AI 导读

研究分析了线性回归设置下，尖峰协方差结构所刻画的数据各向异性如何影响双层线性网络的训练动态与泛化误差。训练分为两个阶段：先由输入—输出相关性主导，随后受数据结构的其他主方向影响；研究还推导出泛化误差解析表达式，说明数据尖峰结构与学习任务的对齐可改善性能。