NVIDIA与滑铁卢大学提出PixelUMM统一图像视频理解与生成

NVIDIA与滑铁卢大学提出并开源PixelUMM模型，尝试在不使用视觉编码器和VAE的情况下，直接在像素空间统一图像与视频的理解和生成。该模型通过共享主干网络处理图像和视频，并采用Mixture-of-Transformers架构，让理解专家与生成专家共享注意力机制。 PixelUMM将图像划分为二维patch、视频划分为三维tubelet，再通过单层线性投影映射到Transformer隐藏维度。其中，图像patch采用16×16像素，视频tubelet采用4×16×16像素。生成时，模型直接输出像素，不经过VAE解码器。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。