Latent-Lens 打通视觉语言模型与小语言模型的潜空间通信

Mo Shahdloo、Faegheh Sardari 和 Mathew Salvaris 提出 Latent-Lens，一种轻量级潜空间编解码器（codec），连接冻结的视觉语言模型（VLM）与冻结的纯文本小语言模型（SLM），使小语言模型能够通过隐藏状态直接接收视觉信息，无需将视觉内容转换为离散文本。 该方法针对视觉语言模型与小语言模型之间的表征差异，通过潜空间通信建立连接。其核心设计是在不改变两个基础模型参数的情况下，利用轻量级编解码器传递视觉信息，为小语言模型获得视觉感知能力提供了一种新的技术路径。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。