arXiv · Machine Learning· Anda Tang, Junjie Wang, Xuanlin Yang, Cong Fang, Zhouchen Lin·· 8 小时前AI 评分34
UTA：通用训练自适应学习率衰减
UTA: Universal Training Adaptive Learning Rate Decay
AI 导读
UTA（Universal Training Adaptive）学习率衰减方法将衰减设计为闭环的形状与尺度调节，并依据训练状态自适应调整。实验显示，该方法在 LLaMA 60M 至 1B、ResNet50 和 ViT-B 的 ImageNet 训练中均有稳定改进，且可即插即用、额外开销可忽略。
来源：arXiv · Machine Learning · arxiv.org