知乎专栏:机器之心· 机器之心·· 5 小时前AI 评分61
RAVEL:两个改进让多模态大模型视觉编码器评测相关性接近翻倍
给多模态大模型选「眼睛」,两个简单改进让评测相关性接近翻倍
AI 导读
研究团队提出免训练视觉编码器评测方法 RAVEL,通过带稳定项的 PCA 白化和基于图像块匹配的相似度计算,提升多模态大模型组件筛选的准确性与稳定性。在三个 LLM 上,RAVEL 平均 Spearman 相关系数达到 0.85,较 Alignment Probing、GW 和 MutualNN 分别提升 36.1%、93.5% 和 101.1%。
来源:知乎专栏:机器之心 · zhuanlan.zhihu.com