arXiv · Machine Learning· Juseok Jeon, Ramy E. Ali, Doyun Kwon, Myungbeom Her, Jinhwi Kim, Jinhyun So·· 8 小时前AI 评分43
FedPA-LoRA：通过产品空间对齐缓解异构联邦 LoRA 的聚合与初始化误差
FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA
AI 导读
FedPA-LoRA 提出一种产品对齐框架，通过保留客户端本地因子、对齐不同秩的全局参考，并在产品空间聚合异构秩更新，缓解联邦 LoRA 的聚合与初始化误差。该框架建立了同质和异构秩下的收敛界，并支持客户端差异化计算与通信预算。在异构秩实验中，平均 GLUE 准确率提升 6.82 个百分点。
来源：arXiv · Machine Learning · arxiv.org