StreamRender-H3

StreamRender-H3 kommer från NVIDIA Research och är en del av projektet Sol-Engine. Idén är att dela upp en interaktiv värld i två delar. En kodbaserad spelmotor, i deras demo ett racingspel skrivet i webbramverket three.js, håller reda på kartan, fysiken och reglerna och reagerar på spelarens knapptryck. I stället för att rita snygg grafik ritar motorn bara en enkel färgkarta där varje typ av sak (väg, gräs, bilar, himmel och så vidare) har sin egen platta färg. En videomodell tar sedan den kartan och målar i realtid upp fotorealistisk video med ljud.

Fördelen är att världen förblir exakt och styrbar, eftersom den ligger i kod, medan utseendet kan bytas helt. Med samma körning men en annan referensbild och beskrivning kan banan se ut som en solig dag, skymning, regn i mörker eller snö. Forskarna jämför själva idén med NVIDIA DLSS 5, men går ett steg längre eftersom videomodellen skapar hela utseendet i varje bildruta.

Videomodellen bygger på MiniMax-H3 Ref2VA, en öppen modell från MiniMax som gör video och ljud utifrån referensbilder och referensvideor. Forskarna har tränat om den så att den bara behöver två steg per bit video i stället för 25, vilket gör realtid möjlig. Ett nytt, snabbare avkodningssteg togs fram med hjälp av kodagenten Claude Code på ungefär tre timmar. Enligt forskarna tar varje strömningssteg 218 millisekunder på åtta GB200-GPU:er, ned från knappt 800.

Forskarna skriver själva att allt hittills bara är testat i racingdemon med en kamera bakom bilen, och att renderaren fortfarande kräver åtta stora datacenter-GPU:er. Koden är öppen under Apache 2.0 och modellvikterna (runt 207 GB) går att ladda ner från Hugging Face under MiniMax H3:s community-licens.