arXiv · Machine Learning· Hao Jiang, Yiru Mao, Tianpeng Bu, Hao Zhou, Hongtao Duan, Wang Jing, Bowen Xu, Xin Chen, Lulu Hu, Bin Yang, Yongliang Tao, Minying Zhang·· 1 天前AI 评分47
V-CoLA：基于线性注意力的视觉 Token 压缩
V-CoLA: Vision Token Compression with Linear Attention
AI 导读
V-CoLA提出面向线性注意力的高效、无需训练的视觉 Token 压缩框架，以唯一性感知重要性准则识别关键视觉 Token，并通过自适应 Token 合并完成压缩。实验显示，仅保留50.0%的视觉 Token即可达到原始性能的99.5%，保留12.5%时性能超过88.0%，prefill speedup达到1.86×至6.15×。
来源：arXiv · Machine Learning · arxiv.org