FlashDexRetarget

För att lära robothänder att hantera föremål behövs mycket data. Ett sätt är att spela in människor som gör uppgifterna och sedan "översätta" rörelserna till en robothand, så att roboten i en fysiksimulering flyttar föremålet på samma sätt med sina egna fingrar. Hittills har man tränat en separat lösning för varje inspelning, så kostnaden växer med antalet inspelningar.

FlashDexRetarget tränar i stället en enda förstärkningsinlärd policy på hela samlingen av inspelningar samtidigt. Policyn ser föremålens form som punktmoln, avståndet mellan fingertoppar och föremål och de kommande tio stegen i den mänskliga rörelsen. Vänster och höger hand har var sin modell. Varje lyckad körning i simuleringen sparas som robotdata.

På ett testpaket med 50 rörelser (från dataseten TACO, OakInk2 och HOT3D) på robothanden XHand lyckades enligt forskarna 90 procent av översättningarna på 29 GPU-timmar, ungefär 100 gånger mindre beräkning än metoden CHORD (2 847 GPU-timmar) och 44 procentenheter högre lyckandegrad. En policy tränad på 1 000 rörelser översatte över 600 av dem inom 60 GPU-timmar. Några av rörelserna, som att torka en tavla, hälla i en panna och stänga ett lock, spelades också upp på en riktig robotarm med XHand.

Arbetet kommer från KAIST AI och robotföretaget Holiday Robotics i Sydkorea. Koden är öppen under MIT-licens. Träningen kräver enligt dokumentationen cirka 110 GB grafikminne, eller 16 GB grafikminne plus cirka 100 GB RAM.