Intern Lumina U2

Intern Lumina U2 är en så kallad multi-codebook diffusion large language model. I stället för att skriva ett ord i taget, som vanliga språkmodeller, tar den fram svaret genom att stegvis fylla i det, som diffusionsmodeller gör med bilder. Modellen samlar text, bilder, video och 3D i ett och samma system: den kan svara på textfrågor, förstå och redigera bilder, skapa bilder och förstå video och 3D-modeller.

Arkitekturen består av en kodare och två utdatadelar som delar en gemensam MoE-baserad diffusionsspråkmodell. Varje position i en bild beskrivs med flera nivåer av diskreta koder (flera "kodböcker"). Alla positioner i bilden behandlas samtidigt, medan kodböckerna avkodas en i taget.

Projektsidan redovisar resultat för den släppta kontrollpunkten, som är tränad på Huaweis Ascend-kretsar. Enligt teamet leder den bland annat på CharXiv-DQ (85,9) och GenEval (89, delad förstaplats), medan andra modeller ligger före på till exempel ChartQA, RealWorldQA, MMMU, ImgEdit och Video-MME. Antalet parametrar anges inte.

Kod finns på GitHub och vikter på Hugging Face, båda under Apache 2.0. När AI Search skrev om modellen i september var den tekniska rapporten inte klar; den finns nu på arXiv (2610.20818).