图像与文本行人重识别的优化冲突及解决方案

Karina Kvanchiani和Timur Mamedov通过分析与实验发现，图像到图像（I2I）和文本到图像（T2I）行人重识别的训练目标存在冲突，单一且不受约束的共享编码器无法同时满足两者的优化要求。I2I要求缩小同一身份不同图像的特征距离，而T2I需要保留个体视觉特征差异，优化其中一个任务可能损害另一个任务的表现。 研究提出两阶段训练方案：先训练I2I视觉编码器，再冻结该编码器，仅训练文本编码器进行跨模态对齐。实验表明，I2I预训练及其训练过程中的文本监督均能提升后续T2I行人重识别性能。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。