arXiv · Machine Learning· Xingjian Bai, Jia-Hao Liang, Jayden Teoh, Vincent Sitzmann·· 13 小时前AI 评分44
OPAL 响应式优化器:训练中动态改写优化器代码
Reactive Optimizers
AI 导读
研究者评估了 OPAL:预训练语言模型智能体在单次训练中检查训练动态并重写可执行优化器代码。它可按参数组调整更新规则与计划,无需优化器专属元训练或跨运行记忆;在未经目标设置调优的语言建模和图像生成任务中,效果匹配或优于选定固定配方。
来源:arXiv · Machine Learning · arxiv.org