arXiv · Machine Learning· Reza Shirkavand, Peiran Yu, Qi He, Heng Huang·· 8 小时前AI 评分36
Bilevel ZOFO：高效 LLM 微调与元训练
Bilevel ZOFO: Efficient LLM Fine-Tuning and Meta-Training
AI 导读
Bilevel-ZOFO 提出一种双层优化方法，将内层快速的一阶参数高效微调（FO-PEFT）与外层对完整模型骨干网络进行的零阶（ZO）更新相结合，兼顾收敛稳定性与内存效率。该方法在保持相近内存效率的同时，实现 2-4 倍训练加速，并通过仅调整少量 FO-PEFT 参数实现快速少样本任务适应。
来源：arXiv · Machine Learning · arxiv.org