预训练优化器系统研究：矩阵预条件方法相对 AdamW 的加速随模型规模收窄

这项研究系统比较了 10 种优化器，覆盖 0.1B–1.2B 参数模型及相当于 Chinchilla 最优值 1–8 倍的数据/模型比；矩阵预条件优化器相对 AdamW 的加速随模型规模增大而收窄。研究指出，公平比较需要分别调优各优化器，并在达到目标训练预算时评估。矩阵预条件优化器相对 AdamW 的加速从 0.1B 模型上的 1.4x 降至 1.2B 模型上的 1.1x。