arXiv · Machine Learning· Binghua Li, Mengzhe Li, Denny Wu, Tianhao Wang·· 8 小时前AI 评分45
两个 ReLU 神经元的梯度下降：全局损失景观与分岔动力学
Gradient Descent on Two ReLU Neurons: Global Landscape and Bifurcation Dynamics
AI 导读
研究揭示了双神经元 ReLU 教师—学生模型中梯度流的多阶段学习机制，学生神经元先向承载主要信号的平分方向鞍点聚集，随后逃逸并分别专门化以匹配教师神经元。损失景观分析表明，当两个学生权重均非零时，所有临界点均为全局最小值或鞍点。
来源：arXiv · Machine Learning · arxiv.org