arXiv · Machine Learning· Philipp Schenkel, Tobias Sch\"urmann, Omer Sahin Tas·· 13 小时前AI 评分40
Patch-Derived Tokens 还是 Register Tokens？变长图像分词器对比研究
Patch-Derived or Register Tokens? Comparing Variable-Length Image Tokenizers
AI 导读
研究比较两种变长图像分词策略：具有显式空间组织的 patch-derived tokens 与无预设布局的 register tokens。极端压缩下前者重建效果明显更好，中等 token 预算下后者略优，高预算时两者相近。下游生成任务中 register tokens 占优；加入外部预训练视觉编码器的表示对齐后，patch-derived tokens 可按 token 预算达到或超过其表现。
来源：arXiv · Machine Learning · arxiv.org