arXiv · Machine Learning· Tianhao Fu, Austin Wang, Charles Chen, Roby Aldave-Garza, Victor Xie, Xiyue Jiao, Yucheng Chen, Martin Tin·· 14 小时前AI 评分53
Varest 通过语义可变分辨率分词与 LLM 内相关性剪枝压缩图像 Token
Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning
AI 导读
Varest 提出结合 LLM 前语义可变分辨率分词和 LLM 内相关性剪枝的图像 Token 压缩方法，在 3 个骨干模型和 13 个基准上超过 15 个基线。该方法在仅保留原始逐层平均图像 Token 数 5.56% 的情况下，保留了完整 Token 配置 86.10%–92.33% 的性能。
来源：arXiv · Machine Learning · arxiv.org