Unpaired Rosetta

Unpaired Rosetta, i artikeln kallad Shared Geometry as a Rosetta Stone, visar att man kan koppla ihop en bildmodell och en språkmodell som tränats helt var för sig, utan att ha några par av bilder och bildtexter. Normalt kräver sådan koppling stora mängder matchade exempel, som i CLIP.

Idén bygger på den så kallade platonska representationshypotesen: modeller som tränats på olika slags data tenderar att ordna sin kunskap på liknande sätt. Metoden grupperar först bilderna och texterna var för sig och matchar grupperna så att avstånden mellan dem stämmer så bra som möjligt. Därefter förfinas en enda rotation, en så kallad Wasserstein Procrustes-avbildning, som flyttar bildernas representationer till textens rum.

Enligt forskarna ger metoden en grov men användbar koppling mellan flera olika bild- och språkmodeller, även när bilderna och texterna kommer från olika datamängder. När bara ett fåtal par finns (högst omkring tusen) slår den tidigare metoder med bred marginal. De visar också att kopplingen räcker för att generera bilder från text utan matchade träningsexempel, och att metoden fungerar för andra kombinationer, bland annat vetenskapliga och medicinska data.

Arbetet kommer från TU Munich och MCML tillsammans med Ulm University, ETH Zurich och MIT. Koden är öppen under MIT-licens och det finns en anteckningsbok som går att köra i Google Colab.