BYOD用LoRA将自回归模型转换为扩散模型

Ruurd J. A. Kuiper和Robert A. Bagheri提出BYOD方法，仅通过LoRA适配器即可将自回归语言模型转换为扩散语言模型，无需修改基础模型参数，也无需针对不同架构单独调优。该方法已在Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B上进行验证，适配器仅占转换后模型参数的4.1%至5.8%。 每次转换进行25,000次迭代，最多使用1.024亿个Token，在单张Google Colab GPU上耗时3.1至4小时。当前主要局限是低网络函数评估次数（NFE）预算下，模型开放式生成的质量仍然有限。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。