En världsmodell där en kodagent håller reda på världens tillstånd i kod medan en videomodell ritar upp vad som händer.
Så fungerar Code World Model: kodagenten uppdaterar tillståndet, som blir proxyvideor som en videomodell renderar [1]
Code World Model är ett forskningsprojekt som låter en kodagent fungera som världsmodellens "hjärna". Vanliga videobaserade världsmodeller ska själva lära sig och komma ihåg världens regler från bilder, vilket gör att saker lätt glider isär över tid. Här håller kodagenten i stället världens tillstånd som körbar kod, till exempel spelkod, och uppdaterar det när något händer.
Tillståndet görs om till enkla så kallade proxyvideor som visar var saker finns och hur de rör sig. En videomodell använder sedan proxyvideon som vägledning och renderar den slutliga bilden i önskad stil. Eftersom tillståndet ligger i koden kan världen fortsätta länge och hålla ihop, även när stilen byts ut, och projektsidan visar exempel där stilen ändras varje minut.
Enligt forskarna blir systemet bättre i takt med att kodagenterna blir bättre på att resonera, planera och koda. Videodelen bygger på MiniMax H3 med en egen LoRA som finns på Hugging Face tillsammans med 40 exempel. Koden är släppt under Apache 2.0, men tredjepartsmodellerna omfattas inte av den licensen. Projektet testades på ett NVIDIA H800-kort med 80 GB minne.
Arbetet kommer från AGI Lab vid Westlake University och Nanyang Technological University. Det är enligt källorna ett annat projekt än Streaming Code World Model från MBZUAI.
Inte bedömd än. Alla kan ändra.
Inga kommentarer än. Skriv gärna vilket projekt den kan passa i.