变长图像分词策略的重建与生成表现对比

Philipp Schenkel、Tobias Schürmann 和 Omer Sahin Tas 比较了两种可变长度图像分词策略：具有显式空间组织、计算效率较高的 patch-derived tokens，以及没有预设空间布局、计算要求更高的 register tokens。研究发现，极端压缩时，前者的图像重建效果明显更好；中等 token 预算下，后者略占优势；高预算下，两者的重建效果相近。 在下游生成任务中，register tokens 整体表现更好。不过，研究者发现，将 patch-derived tokens 与外部预训练视觉编码器进行表示对齐后，其生成性能可显著提升，并能根据 token 预算达到或超过 register tokens。这表明，两种策略的优劣取决于压缩程度、任务类型以及是否采用额外的表示对齐，而非存在一种在所有场景下都占优的方案。

AI 根据报道生成 · 3 小时前更新