MMPhysVideo

MMPhysVideo angriper ett vanligt problem med AI-video: bilderna ser snygga ut, men rörelserna bryter ofta mot fysiken. Forskarna menar att det beror på att videomodellerna bara lär sig från pixlar. Lösningen är att låta modellen samtidigt lära sig från extra information om vad som händer i bilden: vilka objekt det är (semantik), deras form och djup (geometri) och hur punkter rör sig över tid. Allt detta görs om till ett bildliknande format som videomodellen kan hantera direkt.

Träningen sker i två steg. En lärarmodell med två parallella grenar, en för vanlig video och en för den extra informationen, kopplas ihop försiktigt så att de inte stör varandra. Därefter överförs lärarens kunskap om fysik till en vanlig elevmodell med en enda gren. Därför kostar metoden inget extra när videon genereras. Forskarna har också byggt MMPhysPipe, ett system för att samla in och märka upp fysikrika videor, där bild- och språkmodellen Qwen3-VL väljer ut videor och pekar ut de föremål som är fysikaliskt intressanta.

Enligt forskarna förbättrar MMPhysVideo både fysikalisk trovärdighet och bildkvalitet för flera videomodeller, bland annat CogVideoX-2B, CogVideoX-5B och Wan2.1-1.3B, och når toppresultat jämfört med tidigare metoder. Projektsidan visar exempel som honung i mjölk, däck genom vattenpölar och vin som hälls i ett glas.

Arbetet kommer från CASIA (Chinese Academy of Sciences Institute of Automation) och StepFun, där projektledaren och två av de ansvariga forskarna arbetar. Kod och dataset var när detta skrevs markerade som "kommer snart" och GitHub-länken till koden gick inte att öppna. Artikeln uppdaterades i augusti 2026 med en ny titel, "Physically Plausible Video Generation Through Joint RGB-Perception Modeling".