DistScene

DistScene (Object-to-Scene Distillation for 3D Scene Generation) gör om en enda bild till en sammansatt 3D-scen. Till skillnad från många tidigare metoder, som ser en scen mest som en samling föremål, skapar DistScene också själva miljön (rummet, marken, väggarna) som en egen del. Miljön ger sammanhang för var föremålen ska stå.

Träningsdatan tas fram automatiskt. Forskarna använder Microsofts 3D-objektmodell TRELLIS.2: en språk- och bildmodell skriver beskrivningar av föremål och miljöer, bilder skapas utifrån beskrivningarna och TRELLIS.2 gör om dem till 3D-modeller. Föremålen placeras sedan i miljöerna med fysikkontroller, och scenerna renderas till träningsbilder. På så vis "destilleras" kunskapen från en objektmodell till en scenmodell.

Själva genereringen sker i två steg. Först skapas miljö och föremål tillsammans i en gemensam scen. Sedan förfinas varje föremål för sig i ett eget lokalt koordinatsystem, med hänsyn till scenen runt omkring, innan det sätts tillbaka. Eftersom scenerna består av separata delar kan de enligt forskarna importeras direkt i simulatorer för navigering, vilket projektsidan visar med exempel.

Arbetet kommer från Hong Kong University of Science and Technology och TeleAI (China Telecom). Kod, modellvikter och dataset är utlovade men var ännu inte släppta när projektsidan lästes; det finns en interaktiv 3D-förhandsvisning på projektsidan.