MotionSpaceFlow (MSFlow)

MotionSpaceFlow (MSFlow) genererar 3D-rörelser för en människokropp från en textbeskrivning, till exempel "en person gör hjulning" eller "en person går framåt och lyfter högerarmen". De flesta liknande modeller arbetar i ett komprimerat, nedskalat utrymme som en separat kodare har lärt sig, vilket kan begränsa kvaliteten och gör det svårt att peka på en viss led i en viss bildruta. MSFlow skapar i stället rörelsen direkt i full upplösning, utan någon inlärd kodare eller avkodare.

Metoden bygger på flow matching och en transformer (RA-MMDiT) som behandlar text och rörelse tillsammans. Den anpassar sig efter hur rörelsen är beskriven: rörelser som byggs upp av förändringar mellan bildrutor behandlas framåt i tiden, medan rörelser beskrivna som absoluta ledpositioner (XYZ-koordinater) behandlas åt båda hållen.

Varianten med XYZ-koordinater kan dessutom tvinga valfria leder till valda positioner i valfria bildrutor medan rörelsen skapas, utan att ha tränats för det. Enligt forskarna ger det ledande rörelsekvalitet och exakt uppfyllda villkor, och MSFlow når toppresultat för text-till-rörelse på flera dataset och rörelseformat. Det kan göra animation lättare att styra.

Arbetet kommer från LY Corporation i Tokyo (företaget bakom LINE och Yahoo! JAPAN). Koden finns på GitHub under CC0 1.0 och förtränade exempelvikter på Hugging Face under Apache 2.0, tränade på datasetet HumanML3D vars villkor också gäller. Företaget skriver att kodförrådet bara är tillfälligt öppet och kan göras privat när som helst.