WildDet3D

WildDet3D kommer från Ai2 (Allen Institute for AI) tillsammans med University of Washington, Cornell University och UNC-Chapel Hill, och släpptes i april 2026. Den löser en grundläggande uppgift för rumslig förståelse: att utifrån en enda vanlig bild avgöra var föremål befinner sig i 3D, hur stora de är och åt vilket håll de är vända.

Man talar om för modellen vilket föremål man menar på tre sätt: genom att skriva namnet, klicka på det eller dra en ruta runt det i bilden. Modellen svarar med en fullständig 3D-låda i verkliga mått. Om det finns djupinformation, till exempel från LiDAR-sensorn i en iPhone, kan den använda den för att bli mycket träffsäkrare; enligt forskarna ger det i snitt 20,7 punkter bättre resultat. Saknas kameradata kan modellen uppskatta det själv.

Till modellen hör WildDet3D-Data, enligt Ai2 den största öppna datamängden för 3D-detektering hittills: över en miljon bilder, 3,7 miljoner 3D-lådor och 13 500 kategorier i inomhus-, stads- och naturmiljöer, där bara lådor som granskats av människor behållits. Enligt forskarna sätter WildDet3D nya toppresultat på flera tester, bland annat 34,2 AP på Omni3D med textprompter och 40,3 respektive 48,9 på Argoverse 2 och ScanNet utan att ha tränats på dem.

Modellen har cirka 1,2 miljarder parametrar och bygger på bildkodaren från Metas SAM 3. Den finns på Hugging Face under SAM-licensen, med kod på GitHub, en webbdemo och en iPhone-app som visar 3D-lådorna i förstärkt verklighet. Forskarna visar också användning i Meta Quest 3, för att följa föremål i video och för att låta en robotarm greppa saker.