优化器比较显示加速随模型规模收窄
热点事件持续更新
优化器比较显示加速随模型规模收窄
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Kaiyue Wen等作者更新论文《Fantastic Pretraining Optimizers and Where to Find Them》，比较10种预训练优化器后发现，矩阵预条件优化器相对 AdamW 的加速随模型增大而收窄：在0.1B参数模型上为1.4倍，在1.2B模型上降至1.1倍。 研究覆盖0.1B至1.2B参数模型，以及相当于 Chinchilla 最优数据/模型比1至8倍的训练设置。作者指出，公平比较应分别调优各优化器，并在达到目标训练预算时评估。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
预训练优化器系统研究：矩阵预条件方法相对 AdamW 的加速随模型规模收窄报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine Learning预训练优化器系统研究：矩阵预条件方法相对 AdamW 的加速随模型规模收窄
这项研究系统比较了 10 种优化器，覆盖 0.1B–1.2B 参数模型及相当于 Chinchilla 最优值 1–8 倍的数据/模型比；矩阵预条件优化器相对 AdamW 的加速随模型规模增大而收窄。研究指出，公平比较需要分别调优各优化器，并在达到目标训练预算时评估。矩阵预条件优化器相对 AdamW 的加速从 0.1B 模型上的 1.4x 降至 1.2B 模型上的 1.1x。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。