Vision Banana

Vision Banana är ett forskningsprojekt från Google DeepMind som undersöker om förmågan att skapa bilder också ger förmågan att förstå dem. Forskarna har tagit bildgeneratorn Nano Banana Pro och finjusterat den lätt med en liten mängd data för synuppgifter, blandat med dess ursprungliga träningsdata.

Knepet är att alla uppgifter besvaras med en bild. Segmentering blir en bild där varje föremål har en egen färg, djupuppskattning blir en färgkodad djupkarta och ytriktningar blir en normalbild. Man beskriver i en vanlig textprompt vilka färger som ska betyda vad. På så sätt blir bildgenerering ett gemensamt gränssnitt för många olika synuppgifter, på samma sätt som textgenerering blivit det för språkuppgifter.

Enligt Google DeepMind når Vision Banana toppresultat på flera uppgifter inom både 2D- och 3D-förståelse, och slår eller matchar specialiserade modeller som Segment Anything Model 3 för segmentering och Depth Anything-serien för djupuppskattning, utan att förlora förmågan att generera bilder. Projektsidan visar en teknisk rapport men inga nedladdningsbara vikter eller något API.

AI Search beskrev Vision Banana som ett verktyg för att hitta sprickor och skador i byggmaterial. Det stämmer inte med projektets egna källor, som handlar om allmän bildförståelse.