LoRA 秩不直接决定模型容量

1. 12:00
   arXiv · Machine Learning

   LoRA 的秩带来什么？低秩适配的谱与分布分析

   这篇论文指出，在硬性逐因子范数预算下，LoRA 的秩上限不控制模型容量：研究的线性读出模型类对所有 r ≥ 1 相同，Rademacher 复杂度不依赖 r。将预算改为乘积的联合预算后，复杂度界会呈现依赖数据的秩敏感性，但这种收益只出现在特征分布较为均匀时，最坏情况下仍与秩无关。论文还分析了秩和预算对抵消预训练权重主导奇异方向的影响，并给出达到目标源域与目标域对齐所需最小秩的上下界。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。