JST-2

JST-2 (Joint Space-and-Time, generation 2) är vad Viggle kallar en fysikbaserad världsmodell. I stället för att arbeta direkt med pixlar beskriver modellen världen som beständiga "atomer" i 3D, där varje atom är en bit materia eller en del av ett föremål med en position, egenskaper och information om hur den rör sig. Samma beskrivning kan byggas från riktiga bilder eller genereras från en prompt, och kan sedan visas som vanliga bilder eller som 3D Gaussian splats som renderas direkt i webbläsaren. Viggle utvecklade modellen 2024–2026, efter föregångaren JST-1 som driver deras meme-app.

Modellen gör tre saker. Den skapar 3D-scener, enligt Viggle på cirka en sekund och för under en cent per scen (mätt på ett NVIDIA B200), och scenerna kan byggas ut vy för vy med upp till 64 bilder som sammanhang. Den kan också återskapa hela 3D-miljöer från ett fåtal foton av riktiga platser, vilket Viggle ser som ett sätt att bygga simuleringsmiljöer för robotar. Den skapar 3D-figurer från en bild eller text, även från beskurna bilder, som kan animeras direkt utan separat riggning. Och den skapar helkroppsrörelser från en textbeskrivning eller återskapar rörelser från en video, och rörelserna fungerar även med vanliga 3D-riggar.

I Viggles egna blindtester med mänskliga bedömare vann JST-2 över Meshy 7.1 och Tripo H3.1 på figurer, över Cartwheel Swing och HY-Motion-1.0 på text till rörelse samt över Cartwheel Comic 4 och DeepMotion Animate 3D på video till rörelse. Kollisioner och interaktion mellan föremål sköts än så länge av vanlig regelbaserad fysik; nästa version, JST-3, ska lära sig även det. JST-2 går att prova gratis i webbläsaren via Viggles verktyg PINOC och finns via API och MCP. Inga öppna vikter nämns.