FedPA-LoRA提出异构联邦适配新框架

Juseok Jeon 等研究人员提出 FedPA-LoRA 产品对齐框架，旨在解决异构联邦学习中 LoRA 更新的聚合误差和初始化误差。该框架保留客户端本地因子，将不同秩的全局参考进行对齐，并在产品空间聚合不同秩的更新。 FedPA-LoRA 将本地秩与参考秩解耦，允许客户端根据自身计算能力和通信预算采用差异化配置。作者还建立了适用于同质秩和异构秩场景的收敛界。异构秩实验中，该框架的 GLUE 平均准确率提升了 6.82 个百分点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。