Matrix-Game 4.0

Matrix-Game 4.0 är den fjärde versionen av Skywork AI:s serie av interaktiva världsmodeller med öppen källkod. Tidigare världsmodeller genererar varje bildruta direkt och måste själva hålla reda på hur världen ser ut. Då försvinner saker när de lämnar bilden, och spelets regler måste gissas fram ur bilderna. Matrix-Game 4.0 gör i stället så att en riktig spelmotor sköter spelets logik, fysik och spelarens knapptryckningar och ritar en billig, kantig lågpolygonversion av världen. Videomodellen behöver då bara göra om den enkla bilden till färdig, detaljerad grafik.

Runt videomodellen finns ett skal som håller reda på världens tillstånd. En kodagent kan göra om det spelaren ber om till nya regler i spelmotorn, och skriver beskrivningar av vad som händer i scenen som videomodellen får som instruktion. Modellen genererar fyra bildrutor åt gången, tittar på några referensbilder för att hålla utseendet stabilt och hämtar tidigare vyer från samma plats som ett slags rumsligt minne.

Släppet innehåller tre spel med var sin specialtränad modell: ett tredjepersonsskjutspel i en medeltida borg, samma typ av spel i det gamla Egypten och ett racingspel i en stad. Varje scenmodell har drygt 5 miljarder parametrar och bygger på Alibabas Wan2.2-Fun-5B-Control. Bilden är 864 × 480 pixlar. Enligt Skywork når modellen 83 bildrutor per sekund på ett RTX 5090 med ett enda brusreduceringssteg, och 67 respektive 58 bildrutor per sekund på RTX 5080 och RTX 5070 Ti.

Vikter och spelresurser ligger på Hugging Face, och kod för körning, en webbläsardemo och spelens källkod finns på GitHub. Kod och data för träning ingår inte. Enligt modellkortet fungerar modellerna bara för de medföljande scenerna, och snabba kamerarörelser, okänd geometri och långa spelpass kan ge fel i bilden.