CoInteract

CoInteract är en videomodell för att skapa videor där en människa interagerar med ett föremål, till exempel visar upp en handväska, en bok eller en tekanna. Man ger den en bild på personen, en bild på produkten, ljud och en textbeskrivning. Tanken är användning inom e-handel, reklam och virtuell marknadsföring, där vanliga videomodeller ofta ger händer som går igenom föremål eller föremål som ändrar form.

Modellen genererar två strömmar samtidigt i samma nätverk: själva färgvideon och en ström med rumslig struktur för hur människa och föremål samspelar. Strukturen hjälper till att hålla kontakten mellan händer och föremål trovärdig. Dessutom finns en blandning av experter som är specialiserade på olika delar av kroppen, med separata experter för huvud, händer och resten.

CoInteract bygger på Alibabas videomodell Wan2.2-S2V-14B. Koden och vikterna släpptes 27 april 2026, och i maj kom träningsguide och en version som styrs med kroppspositioner. Projektsidan visar också virtuell provning av kläder som användningsområde.

Arbetet kommer från Tsinghua University och Alibaba Group (Taobao Live Tech).