arXiv · Machine Learning· Anastasiia Prutianova, Alina Bogdanova, Mikhail Shutov, Dmitrii Poimanov, Anatoly Gorkov, Ilia Zharikov·· 8 小时前AI 评分48
TVQ：通过可训练向量量化优化大语言模型权重压缩
Trainable Vector Quantization for Large Language Models
AI 导读
TVQ 提出一种基于直通估计（Straight-Through Estimation）的可训练向量量化方法，通过梯度下降优化量化后的大语言模型权重，并结合分块知识蒸馏平衡模型质量与训练效率。实验表明，TVQ 在 LLaMA2-70B 上实现近乎无损的 2-bit 量化，在常见问答基准测试中准确率仅下降 1%。
来源：arXiv · Machine Learning · arxiv.org