PLES 高效估计大模型训练最优超参数缩放定律

论文提出 Power-Law Entropy Search（PLES），通过多保真贝叶斯优化和自适应实验估计大模型训练的最优超参数缩放定律。PLES 优先选择能以较低计算成本降低缩放定律不确定性的候选配置，在合成基准、真实训练数据代理模型和实际 LLM 预训练中，达到与传统网格搜索及其他基线相近的准确性，同时计算预算少于其十分之一。