Mira-Scene

Mira-Scene är ett forskningsprojekt om att återskapa en hel 3D-scen från en enda bild. Dagens AI-modeller kan göra mycket detaljerade 3D-objekt från en bild, men att placera flera objekt rätt i förhållande till varandra är fortfarande svårt. Metoder som skapar hela scenen på en gång tappar detaljer i objekten, medan metoder som gör objekten ett och ett ofta placerar dem fel.

Mira-Scene gör objekten ett och ett men löser placeringen på ett nytt sätt. I stället för att gissa varje objekts position och vridning direkt förutsäger modellen, för varje synlig bildpunkt, var på objektets yta den punkten ligger (en så kallad Canonical Coordinate Map). Tillsammans med ett punktmoln av scenen från en djupuppskattning ger det täta kopplingar mellan objektet och scenen, och ur dem räknas objektets placering fram. En diffusionsmodell skapar objektens form och de här kopplingarna samtidigt. Eftersom metoden kan tränas på vanliga 3D-objekt behövs inga dyra, märkta scener.

Enligt forskarna placerar Mira-Scene objekt klart bättre än jämförda metoder, med 39,8 % bättre 3D-IoU och 16,5 % bättre 2D-IoU än SAM3D, trots begränsad öppen träningsdata. Projektsidan visar tolv återskapade scener som går att rotera i 3D, jämförelser med scener som GPT-6 Astra byggt från grunden, och exempel där scenerna används i Blender och i robotsimulatorn Isaac, där föremål faller, flyttas och krockar.

Arbetet kommer från University of Hong Kong och VAST. Kod, vikter (MIT-licens enligt Hugging Face) och ett dataset finns tillgängliga.