GWM Worlds 2

GWM Worlds 2 är Runways andra generation av världsmodellen GWM Worlds, som presenterades i december året innan. Den genererar video i 720p och 24 bilder per sekund tillsammans med synkroniserat ljud, och är inte begränsad till en fast längd. Modellen bygger på diffusion men genererar videon bit för bit framåt i tiden, så att den kan reagera på styrning medan den kör.

En värld beskrivs med en så kallad WorldPrompt: en grundbeskrivning av miljön, figurerna och världens regler, till exempel tyngdkraft och kameravinkel, plus en första bild. Därefter skickas en ström av tidsstämplade händelser: text som säger vad en figur eller scenen ska göra och hur kameran ska röra sig. Man kan styra kamera och figur oberoende av varandra, i första eller tredje person, låta figurer prata med valbar röst och språk med matchande läpprörelser, och fortsätta från en befintlig video. Flera spelare kan dela samma värld i olika roller, och en språkmodell kan hjälpa till att bygga en ny värld från en kort beskrivning.

Runway lyfter också fram modellen som en simulerad miljö för att träna och utvärdera AI-agenter. I ett test styrde en agent en humanoid robot till en röd och en blå flagga i rätt ordning.

Runway skriver själva att realtidsläget fortfarande offrar kvalitet för hastighet, att snabba kamerarörelser kan försämra detaljerna och att långtidsminnet är ofullständigt. Modellen är en forskningsförhandsvisning, och tillgång ges via ett kontaktformulär för företag. Vikterna är inte öppna.