深度改善深线性网络中困难任务的训练时间缩放

深线性网络分析显示，增加网络深度可提高谱困难任务的渐近训练时间缩放指数，而容易任务的指数不受深度影响。两类任务的边界处，深度只影响对数修正；按预测器范数重参数化时间后，不同难度任务的损失遵循指数与深度无关的共同缩放律。基于基准图像数据衍生任务及非线性网络的数值实验，也呈现出定性一致的深度效应。