機器之心● 精選AI 評分78
輝達開源 PixelUMM，無需 VAE 和 ViT 統一影像與影片理解生成
輝達與滑鐵盧大學開源 PixelUMM，一個不依賴 VAE 和 ViT、直接在畫素空間統一影像與影片理解及生成的多模態模型。它用單層線性投影把影像 patch 和影片 tubelet 接入以 Qwen3 初始化的 Mixture-of-Transformers 主幹，理解與生成共享注意力，沒有視覺編碼器、VAE 或離散視覺 tokenizer，程式碼和權重均已開源。模型可直接生成 832×464、96 幀（4 秒、24fps）影片；