arXiv · Machine Learning· Chenyu Zheng, Rongzhen Wang, Xinyu Zhang, Chongxuan Li·2026-11-02 13:00· 8 小时前AI 评分52

宽度与深度联合扩展下 μP 的谱条件研究

Spectral Condition for $\mu$P under Width-Depth Scaling

AI 导读

本文提出一种适用于宽度与深度联合扩展的 μP 统一谱分析框架，规定了深度残差网络中权重及其逐步更新的范数如何随宽度和深度缩放。框架揭示了残差块包含 1 个变换与包含至少 2 个变换时的根本差异，并指出对于 Transformer 等具有多变换分支的实际架构，CompleteP 风格参数化更为合适。