DiffusionOPSD

DiffusionOPSD (On-Policy Self-Distillation in Diffusion Models) är en metod för att efterträna bildgenererande diffusionsmodeller så att bilderna får högre betyg från bedömningsmodeller, till exempel för estetik eller hur väl bilden följer texten. Problemet med vanlig förstärkningsinlärning här är att betyget bara säger om den färdiga bilden är bra, inte hur modellens mellansteg borde ändras.

DiffusionOPSD gör om betyget till konkreta mål. En fryst kopia av modellen genererar bilder, och utifrån betygets lutning skapas avgränsade positiva och negativa mål för vad modellen borde förutsäga i ett sent steg av avbrusningen. Den tränade modellen anpassas mot målen, och kopian uppdateras sedan så att målen hela tiden bygger på modellens aktuella beteende.

Enligt forskarna gav metoden bäst slutresultat i 19 av 20 jämförbara uppsättningar med Stable Diffusion 3.5 Medium och Z-Image-Turbo och tio bedömningsmodeller, upp till 44 procent bättre än närmaste konkurrent. Jämfört med DiffusionNFT minskade träningstiden på GPU med 40 procent på SD3.5-M och 63 procent på Z-Image-Turbo. Koden och tränade vikter finns under Apache 2.0, och GitHub-sidan beskriver en effektivare andra version av träningsreceptet.

Arbetet leds av ByteDance Seed tillsammans med bland annat National University of Singapore och UC San Diego. GitHub-repot beskriver sig som en extern implementation av algoritmen i artikeln.