跳到正文
arXiv · Machine Learning· Harshithanjani Athi, Sravan Kumar Ankireddy, Jianzhong Charlie Zhang, Hyeji Kim·· 10 小时前AI 评分38

QViD:基于查询—视觉交互分解的视觉 token 剪枝

Vision Token Pruning via Query-Vision Interaction Decomposition

AI 导读

研究提出免训练的查询感知视觉 token 剪枝方法 Query-Vision Decomposition(QViD),在图像和视频理解基准的相同 token 预算下持续提升表现。该方法利用查询—视觉交互矩阵的低秩结构筛选相关 token,在压缩幅度较大时收益最明显。

来源:arXiv · Machine Learning · arxiv.org