TVQ提出大语言模型可训练向量量化方法

论文作者团队提出 TVQ（Trainable Vector Quantization），利用直通估计将梯度下降引入大语言模型的向量量化权重优化，以改善模型压缩后的质量损失。该方法结合分块知识蒸馏，在模型质量与训练效率之间取得平衡。 实验显示，TVQ 兼容现代向量量化方案，并在 LLaMA2-70B 上实现近乎无损的 2-bit 量化，在常见问答基准测试中的准确率仅下降 1%。这一结果表明，该方法有望在大幅压缩模型权重的同时保留较高的问答能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。