LeapTalk

LeapTalk genererar så kallade talking heads: utifrån en porträttbild och ett tal-ljud skapas en video där personen i bilden pratar med läpparna i takt med ljudet. Videon strömmas bit för bit och kan i princip vara hur lång som helst.

Problemet forskarna angriper är en avvägning mellan fart och kvalitet. Diffusionsmodeller ger bra bild men kräver många beräkningssteg och klarar därför inte realtid, medan snabba metoder som bygger videon bit för bit ofta driver iväg, så att ansiktet sakta förändras och fel byggs på. LeapTalk använder en så kallad Brownsk brygga, där varje videobit utgår från den ursprungliga porträttbilden i stället för från brus. Det håller identiteten stabil över tid. En större lärarmodell destilleras sedan till en elevmodell som bara behöver ett enda beräkningssteg per videobit, och en ljudstyrd vägledning håller läpprörelserna i synk.

Enligt forskarna når metoden upp till 200 bilder per sekund på ett enda Nvidia H200-kort i sin lätta variant, med hög bildkvalitet och jämn video. Modellen bygger på SoulX-FlashHead-1.3B som basmodell; LeapTalk-vikterna (LoRA och tillhörande delar) finns på Hugging Face under Apache 2.0, och koden finns på GitHub.

Arbetet kommer från School of Artificial Intelligence vid Shanghai Jiao Tong University och Harbin Institute of Technology.