研究称深度改善困难任务训练缩放

Taishi Watanabe、Ryo Karakida 和 Jun-nosuke Teramae 提交论文，分析深线性网络的训练时间缩放：增加网络深度可提高谱困难任务的渐近训练时间缩放指数，而容易任务的指数不变。 论文还称，在两类任务的边界处，深度只影响对数修正；按预测器范数重参数化时间后，不同难度任务遵循指数与深度无关的共同缩放律。基于基准图像数据衍生任务及非线性网络的数值实验，呈现出定性一致的深度效应。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。