arXiv · Machine Learning· Babak Barazandeh·· 1 天前AI 评分65
LoRA 的秩带来什么？低秩适配的谱与分布分析
What Does the Rank Buy? A Spectral and Distributional Analysis of Low-Rank Adaptation
AI 导读
这篇论文指出，在硬性逐因子范数预算下，LoRA 的秩上限不控制模型容量：研究的线性读出模型类对所有 r ≥ 1 相同，Rademacher 复杂度不依赖 r。将预算改为乘积的联合预算后，复杂度界会呈现依赖数据的秩敏感性，但这种收益只出现在特征分布较为均匀时，最坏情况下仍与秩无关。论文还分析了秩和预算对抵消预训练权重主导奇异方向的影响，并给出达到目标源域与目标域对齐所需最小秩的上下界。
来源：arXiv · Machine Learning · arxiv.org