提出 Adaptive-LoRA 自适应微调方法
热点事件持续更新
提出 Adaptive-LoRA 自适应微调方法
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Fei Zuo、Yizhou Huang 和 Kezhi Wang 提出 Adaptive-LoRA，通过冻结基座模型并进行零消融校准，自动识别任务特定层；在 Qwen2.5-1.5B 的 11 项推理任务实验中，作者称该方法仅使用 30% 的层，效果优于全层 LoRA，适配器参数减少 3.5 倍。 该方法基于研究者对 LoRA 的机制分析：参数更新带来的适配效应在不同组件和层之间具有较高稀疏性，因此可通过任务校准选择需要训练的层，无需穷举搜索。上述效果和参数变化仅对应 Qwen2.5-1.5B 及这 11 项任务的实验结果。
AI 根据报道生成 · 42 分钟前更新
最新进展10月28日 12:00
LoRA 的机制洞见：通过路径修补实现基于层稀疏性的自适应微调报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv · Machine LearningLoRA 的机制洞见：通过路径修补实现基于层稀疏性的自适应微调
研究揭示 LoRA 的适配效应在组件和层之间高度稀疏，并提出面向任务自动选层的 Adaptive-LoRA。该方法通过冻结基座模型的零消融校准选择任务专属层。在 Qwen2.5-1.5B 的 11 项推理任务中，Adaptive-LoRA 仅使用 30% 的层，效果优于全层 LoRA，适配器参数减少 3.5 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。