Lyra 2.0

Lyra 2.0 kommer från NVIDIA:s Spatial Intelligence Lab. Man börjar med en bild och styr sedan själv var kameran ska gå. Modellen skapar en video av en vandring genom scenen, och av videon byggs en 3D-scen i form av så kallade 3D-gaussianer (ett sätt att representera 3D som går att visa i realtid) eller ett vanligt 3D-nät. Scenen kan utökas steg för steg genom att man väljer nya kamerabanor.

Forskarna angriper två problem som brukar göra långa genererade videor oanvändbara som 3D. Det första är att modellen glömmer: när kameran återvänder till en plats den redan visat har den platsen fallit ur minnet, och modellen hittar på något nytt. Lyra 2.0 sparar därför 3D-geometri för varje bildruta och använder den för att hämta fram rätt tidigare bildrutor. Det andra är att små fel byggs på över tid så att scenen sakta glider iväg. Det löser de genom att träna modellen på sina egna, lite försämrade resultat, så att den lär sig rätta felen i stället för att föra dem vidare.

Modellen har 14 miljarder parametrar och bygger på videomodellen Wan 2.1 (14B). Den finns med ett grafiskt gränssnitt där man planerar kamerabanor, och scenerna kan exporteras till fysikmotorer, till exempel NVIDIA Isaac Sim för att träna robotar att navigera. Enligt GitHub-sidan tar 80 bildrutor runt 9 minuter på en H100 (omkring 35 sekunder med en snabbare destillerad variant).

Koden är öppen under Apache 2.0, men vikterna har en NVIDIA-licens som bara tillåter intern forskning och utveckling, inte användning i produktion eller för att skapa verk som säljs. Arbetet är antaget till SIGGRAPH Asia 2026.