DreamLite

DreamLite är en kompakt diffusionsmodell från ByteDance Intelligent Creation Lab som klarar två saker i ett och samma nätverk: att skapa bilder från text och att redigera befintliga bilder efter textinstruktioner. Enligt forskarna är det den första modellen för mobilen som kombinerar båda, så att man inte behöver ha två separata modeller i telefonen.

Modellen bygger på ett bantat U-Net för mobiler. Bilden som ska redigeras läggs bredvid den nya bilden i modellens interna representation, så att samma nätverk kan hantera både generering och redigering. Träningen sker stegvis: först bildgenerering, sedan redigering och till sist båda tillsammans, följt av finjustering och förstärkningsinlärning. Med stegdestillering räcker fyra steg för att skapa en bild.

Enligt projektsidan skapar eller redigerar DreamLite en bild på 1024 × 1024 pixlar på ungefär 3 sekunder på en iPhone 17 Pro (under 5 sekunder enligt en annan formulering på samma sida). AI Search-nyhetsbrevet skrev i stället under en sekund; den siffran finns inte på den officiella sidan. På testerna GenEval och DPG slår den enligt forskarna andra mobilmodeller och håller jämna steg med flera betydligt större servermodeller.

Koden är öppen under Apache 2.0, och DreamLite har lagts in i Hugging Face-biblioteket Diffusers. Vikterna (DreamLite-base med 28 steg och DreamLite-mobile med 4 steg) ligger på Hugging Face men kräver ansökan om åtkomst och får bara användas för icke-kommersiell forskning. En Android- och iOS-app är planerad.