COSMI

COSMI (Compositional Synthesis of Multi-Object Interactions) är ett forskningsprojekt om att generera människors rörelser när de hanterar flera föremål, som att sitta på en pall, prata i telefon och dricka ur en flaska. Vardagliga aktiviteter involverar ofta flera saker, men de flesta inspelade dataset visar bara ett föremål i taget eftersom det är dyrt att spela in allt samtidigt.

Forskarnas iakttagelse är att interaktioner är lokala: att sitta använder höften och att dricka använder höger hand. De klipper därför befintliga inspelningar i korta klipp med en handling var, speglar dem så att båda händerna blir representerade, och låter en språkmodell och geometriska kontroller välja vilka kombinationer som är rimliga. Resultatet är COSMI-datasetet med 222 000 sekvenser och 275 timmar rörelse med ett till fem föremål, enligt forskarna nästan trettio gånger större än den största inspelningen med flera föremål.

På datan tränas en diffusionsmodell som utifrån text genererar en människa och ett till fem föremål. Varje föremål placeras i förhållande till den kroppsdel som rör det, som en kopp vid handleden. Enligt forskarna slår COSMI jämförda metoder (HIMO samt varianter av MDM och PriorMDM) i hur väl rörelsen följer texten och i kontaktprecision. Koden, modellerna och datasetet ska enligt GitHub-sidan släppas snart.

Arbetet kommer från Universität Tübingen, Tübingen AI Center, Zuse School ELIZA och Max Planck Institute for Informatics.