arXiv · Machine Learning· Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Ammar Ali, Baher Mohammad, Stamatios Lefkimmiatis·· 9 小时前AI 评分33
COMPOT：面向 Transformer 压缩的校准优化矩阵 Procrustes 正交化方法
COMPOT: Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers Compression
AI 导读
COMPOT 是一种无需训练的 Transformer 压缩框架，利用小型校准数据集估计稀疏权重分解。它采用正交字典，通过闭式 Procrustes 更新和单步稀疏编码降低优化成本，并动态分配各层压缩率。实验显示，COMPOT 在质量与压缩率的权衡上优于低秩和稀疏基线，且兼容后训练量化。
来源：arXiv · Machine Learning · arxiv.org