Streaming Code World Model
En strömmande version av Code World Model som skapar en världsvideo bit för bit medan den pågår, i stället för hela videon på en gång.
- Världsmodeller
- Videogenerering
AI Search går igenom Streaming Code World Model [5]
Om Streaming Code World Model[1][2][3][4][5][6]
Streaming Code World Model är ett forskningsprojekt som bygger vidare på Code World Model (CWM), en världsmodell från Westlake University och Nanyang Technological University. I CWM sköter en kodande AI-agent själva världen: den resonerar om vad som händer och skriver kod som håller reda på världens tillstånd. Det blir en enkel skiss, en så kallad proxy, som sedan används för att styra videomodellen MiniMax-H3 så att den målar upp en realistisk video.
Den strömmande versionen gör så att videon skapas löpande i små bitar på 0,71 sekunder. Varje bit skapas bara utifrån startbilden, skissen hittills och de tidigare bitarna, utan att titta framåt i tiden. Det är ett steg mot världsmodeller som kan reagera i realtid, men enligt projektet är den ännu inte i realtid: en destillerad version som behöver fyra steg tar 5,1 sekunder per bit på ett Nvidia H200-grafikkort, vilket enligt projektet är nio gånger snabbare än 35 steg.
Modellen har tränats på 342 klipp (3,7 timmar) från körsimulatorn CARLA, där en fotgängare följs av en kamera. I projektets egna tester på fyra undanhållna CARLA-klipp på 17 sekunder gav fyrastegsversionen lägre fel än versionen med 35 steg. Den kräver mycket minne: runt 108–123 GB grafikminne, och grafikkort med 80 GB stöds ännu inte.
Projektet kommer från Tingting Liao och Guangyi Liu, som båda anger MBZUAI i Abu Dhabi som arbetsplats på sina GitHub-profiler. Vikterna är LoRA-tillägg till MiniMax-H3 och ligger på Hugging Face.
Det viktigaste[7][1][2][3]
- Obs: när den används tillsammans med MiniMax H3 gäller H3-licensen, som inte gäller i EU, Storbritannien, Sydkorea eller USA utan en separat licens från MiniMax.
- Skapar världsvideo löpande i bitar på 0,71 sekunder, utan att se in i framtiden.
- Den destillerade fyrastegsversionen tar enligt projektet 5,1 sekunder per bit på ett H200-kort, nio gånger snabbare än 35 steg, men är ännu inte i realtid.
- I projektets tester gav fyrastegsversionen lägre fel än 35-stegsversionen på CARLA-klipp.
- Bygger på Code World Model, där en kodande AI-agent styr världen och videomodellen MiniMax-H3 målar upp den.
- Kräver ett grafikkort med mycket minne (runt 108–123 GB); 80 GB-kort stöds inte ännu.
- Projektet anger ingen licens.
Källor
- [4]
- [7] MiniMax H3 Community License Agreement ↗MiniMax Officiell sida huggingface.coPublicerad okänt datum Läst 25 okt 2026
- [6] Quantum breakthrough, Gemini 4 Argon, Muse Wonder, Drama 3, MOSS Image, Krea 3, Ling 3.1: AI NEWS ↗AI Search Nyhetsbrev aisearch.substack.comPublicerad 18 okt 2026 Läst 25 okt 2026
- [5] Quantum breakthrough, Gemini 4 Argon, MOSS Image, KLING 4, OpenAI spy, Muse Wonder: AI NEWS ↗AI Search Video youtube.comPublicerad 17 okt 2026 Läst 25 okt 2026
- [2] Streaming Code World Model ↗Hugging Face (Luffuly) Modellkort huggingface.coPublicerad 11 okt 2026 Läst 25 okt 2026
- [1] Streaming Code World Model ↗Tingting Liao och Guangyi Liu (GitHub) Officiell sida github.comPublicerad 2 okt 2026 Läst 25 okt 2026
- [3] Code World Model: Coding Agent as World Brain ↗arXiv Forskningsartikel arxiv.orgPublicerad 26 aug 2026 Läst 25 okt 2026
Historik
Vår bedömning
Inte bedömd än. Alla kan ändra.
Kommentarer
Inga kommentarer än. Skriv gärna vilket projekt den kan passa i.
Mer från MBZUAI
- K2-Type-0.9B 26 sep 2026
- K2 Horizon 1 sep 2026