Hy-Nomas

Hy-Nomas är en videomodell som genererar en värld ett videosegment i taget. Mellan segmenten kan användaren styra fortsättningen med vanliga textinstruktioner, till exempel lägga till föremål, byta stil eller miljö, beskriva vad en figur ska göra, eller ange en kamerabana. Modellen minns det som redan har genererats (via en så kallad KV-cache), så att världen ska hänga ihop även när kameran vänder tillbaka till en plats den redan visat.

Tekniskt består den av en diffusionstransformer som arbetar segment för segment, en textkodare från Qwen2.5-VL-7B, moduler för kamerastyrning och en egen videoavkodare (PixelUMM). Den destillerade versionen behöver 8 avbrusningssteg per segment och ger video i 720 × 1280 pixlar med 24 bilder per sekund. Standardinställningen kör på åtta grafikkort, men det finns även en snålare variant med komprimerade vikter som enligt Tencent fungerar på ett enda NVIDIA RTX 4090. Det finns också tilläggsvikter för en mer filmisk bild och för simulering av robotarmar.

Vikter och kod ligger öppet på Hugging Face och GitHub under Apache 2.0, och det finns en webbdemo där man kan bygga en värld och ladda ner videon. Tencent har också släppt testsviten Hy-Nomas-Bench med 280 testfall för styrning med text och kamera samt rumsligt minne. Den tekniska rapporten var vid läsningen ännu inte publicerad ("coming soon").