Show-Harness

Show-Harness är ett så kallat Embodied Harness: ett skal runt en vision-language-modell (VLM), alltså en AI-modell som förstår både bilder och text, som gör att den kan styra en robotarm direkt. I stället för att modellen räknar ut exakta rörelser väljer den i varje steg ett enkelt kommando, till exempel MV_FWD (flytta framåt), MV_LEFT, GRASP (grip), RELEASE (släpp) eller ROTATE_CW (vrid medurs). En tolk för den aktuella roboten bestämmer sedan hur långt eller hur mycket rörelsen ska vara. Insticksmoduler bygger ihop sammanhanget inför varje steg, till exempel bilder från flera vinklar, en plan i delsteg och robotens egen position.

Projektet innehåller också GUMI (GUI Manipulation Interface), ett gränssnitt i webbläsaren där människor kan samla in demonstrationer med samma kommandon, till exempel med tangentbordet, i stället för med dyr specialutrustning.

Forskarna har testat Show-Harness på en Franka-arm med 7 frihetsgrader, en AgileX-arm med 6, i simulator och på en tvåarmad robot. Både stora stängda modeller (bland annat Gemini 3.1 Pro, GPT-5.6 Sol och Claude Opus 5) och små öppna modeller (Qwen3.5 från 0,8B till 9B och InternVL3.5) användes; de öppna modellerna finjusterades på några GPU-timmar. Enligt teamet klarar systemet 89 % av tio olika uppgifter utan extra träning, mot 57 % för den bästa jämförda metoden, och de stora stängda modellerna lyckas i 86–96 % av fallen. Kod, finjusterade modeller och data är släppta.