arXiv · Machine Learning· Fei Zuo, Yizhou Huang, Kezhi Wang·· 10 小时前AI 评分41
LoRA 的机制洞见：通过路径修补实现基于层稀疏性的自适应微调
Mechanistic Insights into LoRA: Layer Sparsity for Adaptive Fine-Tuning via Path Patching
AI 导读
研究揭示 LoRA 的适配效应在组件和层之间高度稀疏，并提出面向任务自动选层的 Adaptive-LoRA。该方法通过冻结基座模型的零消融校准选择任务专属层。在 Qwen2.5-1.5B 的 11 项推理任务中，Adaptive-LoRA 仅使用 30% 的层，效果优于全层 LoRA，适配器参数减少 3.5 倍。
来源：arXiv · Machine Learning · arxiv.org