PixelUMM

PixelUMM är en så kallad enhetlig multimodal modell: samma modell kan beskriva och svara på frågor om bilder och videor, och kan också generera nya bilder och videor från text eller från en startbild. Det ovanliga är att den arbetar direkt med pixlarna. De flesta liknande system använder separata delar för att komprimera bilder (en VAE) och för att tolka dem (en bildkodare). PixelUMM delar i stället upp bilder i rutor på 16 × 16 pixlar och videor i små block om fyra bildrutor, och skickar dem rakt in i modellen.

Modellen bygger på språkmodellen Qwen3-8B. Inuti finns två uppsättningar experter, en för förståelse och en för generering, som delar på samma uppmärksamhetslager. Vid generering förutsäger modellen rena pixlar och avbrusar videon i 35 steg. Modellkortet anger omkring 15 miljarder parametrar totalt.

Enligt forskarna presterar den i nivå med jämförbara modeller på bild- och videoförståelse, till exempel 90,4 på DocVQA och 70,5 på MVBench, men de påpekar själva att träningsdata skiljer sig så jämförelsen inte visar vilken arkitektur som är bäst. Projektsidan redovisar öppet svagheter: flera liknande saker i samma bild kan smälta ihop eller ändra antal, händer kan få fel antal fingrar, rörelser kan vara fysiskt orimliga och ett svagt rutmönster kan synas i jämna ytor.

Koden är öppen under Apache 2.0, och vikterna finns på Hugging Face under NVIDIA:s icke-kommersiella licens som bara tillåter forskning och utvärdering.