PAMI

PAMI (Part Anchored Motion for Text to Human-Object Interaction Generation) är ett forskningsprojekt som skapar rörelser för hela kroppen när en person hanterar ett föremål, till exempel "lyft stativet, flytta det och ställ ner det", utifrån en text och en 3D-modell av föremålet. Vanliga metoder behandlar människan och föremålet som två separata banor, vilket enligt forskarna ofta leder till att föremål driver iväg, att greppet missas eller att händer går igenom ytor.

Idén är inspirerad av den klassiska Hough-transformen: flera kroppsdelar, som höfterna, handlederna och fotlederna, "röstar" om var föremålet ska vara, och modellen lär sig för varje bildruta hur mycket varje kroppsdel ska väga in. Genereringen sker i två steg. Först skapar PamiGen en grov rörelse från texten, och sedan förfinar PamiRefiner kontakten med en kombination av långräckviddiga sonder för kroppsdelarnas påverkan och kortavståndssensorer runt händerna, tills kontakten är exakt och inget går igenom något annat.

Enligt forskarna ger PAMI mer trovärdiga interaktioner på testsamlingen InterAct och 14,5 % högre kontaktträffsäkerhet än den tidigare bästa metoden. Koden och de tränade modellerna ska släppas på GitHub men var ännu inte publicerade när vi kontrollerade.

Arbetet kommer från Tübingen AI Center vid University of Tübingen och Max Planck Institute for Informatics.