Any Time, Any Space (ATAS)

Any Time, Any Space (ATAS) är ett forskningsprojekt om att göra längre filmer med AI-videogeneratorer, som oftast bara klarar korta klipp. När en film delas upp i många klipp är det svårt att få samma rum att se likadant ut när man återvänder dit, eller att visa en tidigare händelse igen från en ny vinkel. Att bara skicka med text eller de senaste bildrutorna mellan klippen räcker inte.

ATAS bygger i stället upp ett beständigt världstillstånd bakom hela filmen. Manuset delas upp i klipp med uttalad plats, kamera och tidpunkt. Före varje klipp hämtar systemet underlag ur två minnen: ett scenminne med rummens fasta 3D-geometri och ett händelseminne med rörliga saker kopplade till en viss händelse och tidpunkt. Efter varje klipp återskapas det i 3D och läggs in i minnet, men bara om det klarar en granskning och en kontroll av att det stämmer med världen. Klippet hamnar i filmen oavsett.

Forskarna har testat ATAS med fyra olika videogeneratorer. Enligt dem förbättrar systemet alla redovisade mått på samstämmighet mellan klippen, slår jämförda agentsystem och 3D-styrda metoder på att återvända till en plats, och får högst betyg av mänskliga bedömare på alla sex kriterier.

Arbetet kommer från ZIP Lab vid Zhejiang University tillsammans med Monash University, UC Berkeley och Adelaide University. Koden finns på GitHub under MIT-licens. Själva videon görs av befintliga videogeneratorer, och kodens exempelinställningar kräver bland annat en API-nyckel till Alibabas DashScope.