PLES 用更少计算估计训练缩放定律

论文提出 Power-Law Entropy Search（PLES），用多保真贝叶斯优化和自适应实验估计大模型训练的最优超参数缩放定律；论文报告称，它在保持与传统网格搜索及其他基线相近准确性的同时，将计算预算降至其十分之一以下。 PLES 优先选择能够以较低成本降低缩放定律不确定性的候选配置。论文在合成基准、真实训练数据代理模型和实际 LLM 预训练中进行了评估。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。