SoL-Refiner

Att generera video direkt i hög upplösning är dyrt, eftersom beräkningarna växer snabbt med antalet pixlar och bildrutor. Ett vanligare knep är att först skapa videon i låg upplösning och sedan förfina den, men förfiningen brukar själv kräva flera steg. SoL-Refiner från NVIDIA Research gör förfiningen i ett enda avbrusningssteg direkt i målupplösningen, upp till 4K.

Modellen tränas i tre steg: fortsatt träning i hög upplösning, efterträning med förstärkningsinlärning och till sist destillation ned till ett steg. Den fungerar med video från flera videomodeller, bland annat MiniMax H3, SANA-Video, Cosmos-Nano och WAN. Forskarna har också tagit fram ett eget test, Refiner-Bench, för att jämföra sådana förfinare.

Enligt NVIDIA går hela kedjan avsevärt fortare. För en fem sekunder lång video i 1344 × 768 med MiniMax H3 tar generering direkt i full upplösning 152 sekunder på en GB200-GPU, mot knappt 6 sekunder med låg upplösning plus SoL-Refiner, alltså omkring 27 gånger snabbare. Med WAN blir det enligt projektsidan ungefär 3,5 gånger snabbare. Enligt artikeln slår den alla externa förfinare vid ungefär 2K, och vid 4K förbättrar den båda måtten jämfört med LTX-2.3:s förfinare i tre steg.

Vikterna finns på Hugging Face i tre varianter, byggda på LTX-2.3 respektive LTX-2.5 (den senare anpassad för MiniMax H3). Den största varianten har 19 miljarder parametrar. Projektsidan och modellkorten anger ingen licens.