arXiv · Machine Learning· Tomasz Ku\'smierczyk, Eliezer de Souza da Silva, Marcin Sendera·· 8 小时前AI 评分47
贝叶斯 LoRA 的先验预测匹配
Prior Predictive Matching for Bayesian LoRA
AI 导读
研究为贝叶斯 LoRA 提出一种微调前运行的闭式先验预测估计器，用于选择低秩权重更新的先验超参数。理论分析表明，最优先验精度随秩 \(r\) 按 \(r^{-1/2}\) 缩放；在 RoBERTa-large 上，该方法无需验证数据即可改善预测负对数似然（NLL）和校准，并具备有竞争力的分布外检测表现。
来源：arXiv · Machine Learning · arxiv.org