NVIDIA 与滑铁卢大学提出 PixelUMM，在像素空间统一图像与视频理解和生成

NVIDIA 与滑铁卢大学提出并开源 PixelUMM，一种无需视觉编码器和 VAE、直接在像素空间统一图像与视频理解和生成的多模态模型。模型将图像划分为 2D patch、视频划分为 3D tubelet，通过单层线性投影接入共享主干网络，并采用 Mixture-of-Transformers 架构，让理解专家与生成专家共享注意力。