OPAL可在训练中改写优化器代码

研究者评估了反应式优化器 OPAL：它让预训练语言模型智能体在单次训练中检查训练动态并改写优化器代码；在语言建模和图像生成任务中，当配方未经目标设置调优时，OPAL 的效果匹配或优于选定的固定配方。 OPAL 可针对不同参数组调整更新规则和计划，不需要针对优化器进行专门的元训练，也不依赖跨运行记忆。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。