MAGI-2 Preview

MAGI-2 Preview är en förhandsversion av Sand.ais nästa videomodell och uppföljaren till MAGI-1. Den gör videoklipp med synkroniserat ljud, antingen från en textbeskrivning eller från en stillbild plus text. Text, video och ljud hanteras i samma transformer, och ljudet genereras i samma steg som bilden.

Modellen är en mixture of experts med 114 miljarder parametrar, varav ungefär 6 miljarder används per token. Den arbetar i två steg: först genereras en förhandsversion i 512 × 896 pixlar, sedan skalar ett förfiningssteg upp till 1088 × 1920. Klippen är alltid tio sekunder, den enda längd som stöds än så länge. Sand.ai beskriver arbetet som ett sätt att undersöka hur arkitektur, träning och data kan skalas upp effektivt, mot videomodeller som lär sig hur föremål, handling, rum, tid och ljud hänger ihop.

Vikterna och körkoden är öppna under Apache 2.0 på Hugging Face och GitHub. Den är dock tung att köra: alla filer tar ungefär 307 GB och det krävs åtta Nvidia Hopper-grafikkort. Inga testresultat har publicerats.

Sand.ais egen webbplats gick inte att nå när uppgifterna kontrollerades, så detaljerna kommer från modellkortet på Hugging Face och från ComfyUI Wikis genomgång.