Prompt Relay

Prompt Relay är ett forskningsprojekt från S-Lab vid Nanyang Technological University i Singapore. Det löser ett vanligt problem med AI-video: när man beskriver flera händelser efter varandra i en lång text blandas de ofta ihop, så att saker som skulle hända i slutet dyker upp i början eller smälter samman.

Med Prompt Relay skriver man i stället en övergripande beskrivning av scenen och sedan en kort text för varje tidsavsnitt. Metoden ändrar hur modellen läser texten när videon skapas, så att varje del av videon främst lyssnar på sin egen beskrivning, med mjuka övergångar mellan avsnitten. Det kräver ingen ny träning, inga ändringar av modellens uppbyggnad och ingen extra beräkningstid.

Forskarna har provat metoden på Wan 2.2. Enligt deras egna bedömningar av människor ger Wan 2.2 med Prompt Relay bättre tidsföljd och naturligare övergångar än både vanliga Wan 2.2 och flera kommersiella system som Kling och Veo 3.1, även om Veo 3.1 fick bäst betyg för bildkvalitet. Enligt projektsidan är Prompt Relay nu inbyggt i Wan. Koden finns på GitHub som ändringar i Wan 2.2.