双ReLU神经元梯度下降的全局损失景观与分岔动力学

Binghua Li、Mengzhe Li、Denny Wu 和 Tianhao Wang 研究了双ReLU神经元教师—学生模型的梯度下降动力学，揭示学生神经元经历先聚集、后分化的多阶段学习过程：两个学生神经元最初向承载主要信号的平分方向鞍点聚集，随后逃离该位置，分别专门化以匹配教师神经元。 研究还分析了模型的全局损失景观，发现当两个学生权重均非零时，所有临界点均为全局最小值或鞍点。该研究采用各向同性高斯输入和小规模初始化下的总体梯度流训练设定，已被 NeurIPS 2026 接收。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。