OmniShow

OmniShow är ett forskningsprojekt om videogenerering av interaktioner mellan människor och föremål (Human-Object Interaction Video Generation). Man kan mata in text, referensbilder på personen och föremålet, ljud och en kroppspose, i olika kombinationer, och få ut en video där personen till exempel lyfter en mugg, tar på sig en hatt eller visar upp en produkt medan hen pratar.

Modellen hanterar flera uppgifter i ett och samma system: video från referensbilder, från referensbilder plus ljud, från referensbilder plus pose, och från alla fyra signalerna samtidigt. Enligt forskarna ger den mer naturliga rörelser, stabilare grepp och färre fall där händer går igenom föremål, och den kan göra sammanhängande klipp på upp till 10 sekunder. Den kan också animera en person från en bild och ett ljudspår så att hen pratar eller sjunger. På projektsidan jämförs den med bland andra HunyuanCustom, HuMo-17B, VACE och Phantom-14B.

Forskarna har också byggt ett eget test, HOIVG-Bench, som finns på Hugging Face. Tränings- och inferenskoden för en version byggd på Wan-modellerna är släppt under Apache 2.0, men själva de tränade vikterna ingår inte, med hänvisning till interna regler.

Arbetet är ett samarbete mellan ByteDance och The Chinese University of Hong Kong, med medverkan från Monash University och The University of Hong Kong, och har antagits till ICML 2026.