提出宽度与深度联合缩放的 μP 谱分析框架

Chenyu Zheng、Rongzhen Wang、Xinyu Zhang 和 Chongxuan Li 提出适用于神经网络宽度与深度联合扩展的 μP 统一谱分析框架，并给出相应的优化器超参数配置方法。该框架规定了深度残差网络中权重及其逐步更新的范数如何随网络宽度和深度变化。 研究指出，残差块包含一个变换与包含至少两个变换时，所需的缩放规律存在根本差异。对于 Transformer 等包含多变换分支的实际架构，研究认为 CompleteP 风格的参数化更为合适。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。