SCoPE

SCoPE (Sightline-Coordinate Positional Encoding) är ett forskningsprojekt från ARC Lab på Tencent, University of Hong Kong och Hong Kong University of Science and Technology. Det handlar om att styra kameran i AI-genererad video: man ger modellen en startbild och en kamerabana, och videon ska följa banan exakt.

Idén är att varje liten bit av videon (en token) får sin kamerastråle, alltså linjen från kameran ut i scenen, som en andra adress utöver sin plats i bilden. Då blir kamerastyrningen en del av själva koordinatsystemet i stället för en extra styrmodul. Tillägget är litet, under 0,1 procent nya parametrar, och lämnar den förtränade modellens ursprungliga positionskodning helt orörd.

Enligt forskarna förbättrar SCoPE alla mått på kamerastyrning och bildkvalitet på Wan 2.2 i både 5B- och 14B-storlek. Vid 14B minskar rotationsfelet med 29 procent och FVD (ett mått på videokvalitet) med 43 procent jämfört med den starkaste tidigare metoden. En bieffekt är att scener hänger ihop när kameran vänder och kommer tillbaka till samma plats. Man kan också styra kameran med WASD-tangenter som i ett spel. Kod och vikter för Wan2.2-I2V-A14B finns under Apache 2.0, och det finns en webbdemo på Hugging Face.