Self-Replay Fine-Tuning

När man finjusterar en AI-modell hårt på en smal uppgift blir den ofta bättre på just den uppgiften men sämre på mycket annat den tidigare klarade, ett fenomen som kallas katastrofal glömska. Self-Replay Fine-Tuning är OpenBMB:s recept för att motverka det.

Innan finjusteringen får modellen själv svara på en bred uppsättning allmänna frågor, flera gånger per fråga. Svaren kontrolleras för korrekthet, format, längd, säkerhet och resonemangskvalitet, och det bästa godkända svaret sparas. De sparade svaren blandas sedan in bland träningsexemplen för den nya uppgiften, i OpenBMB:s försök i förhållandet 4 till 1, och träningen görs som vanligt. Varken förlustfunktion, arkitektur eller träningsloop ändras. Tanken är att modellen repeterar sina egna gamla svar, som redan låter som den själv, i stället för någon annans.

OpenBMB testade receptet på fyra multimodala modeller, MiniCPM-V-4.5, MiniCPM-o-4.5, GLM-4.1V och Qwen3-VL-4B, som tränades på att räkna föremål i bilder. Enligt OpenBMB minskade förlusten av allmän förmåga med 80–99 % medan nästan hela förbättringen på uppgiften fanns kvar. Störst skillnad blev det för GLM-4.1V, vars allmänna poäng föll från 75,5 till 32,2 med vanlig finjustering men bara till 73,1 med receptet. Metoden fungerade också för dokumentläsning (Doc-OCR) och gav enligt OpenBMB bättre balans än förstärkningsinlärning, destillering och återanvändning av vanlig allmän träningsdata.

Receptet presenteras i ett blogginlägg; koden är ännu inte släppt utan anges som "kommer snart" på GitHub.