Isaac 0.5

Isaac 0.5 är en öppen modell för robotar och fysisk AI. Den lägger bilder, video, tid, robotens tillstånd och tidigare rörelser i en och samma sekvens, och kan därför både svara på frågor om video, peka ut och följa föremål och delar av föremål över tid, rapportera hur långt en uppgift har kommit och själv generera rörelser för en robot. Den kan användas direkt som robotstyrning eller ge sina visuella tolkningar till ett annat planerings- eller styrsystem.

Modellen har 36 miljarder parametrar och är gles: den bygger på en variant av mixture of experts som Perceptron kallar Null Experts, där varje token kan använda olika många experter så att beräkningen anpassas efter hur svår uppgiften är. Rörelser kan genereras på två sätt, som diskreta steg eller som kontinuerliga rörelser via en separat diffusionsdel. Enligt Perceptron har den tränats på data från över 35 robottyper, 100 000 timmar robotdata, en miljon timmar vanlig video och 3 biljoner multimodala tokens.

Enligt Perceptron slår modellen den starkaste Qwen3-VL-modellen på tester av att hitta och räkna saker i bilder, till en åttondel av beräkningskostnaden, och lär sig nya robotuppgifter snabbare än π0.5 i ett schacktest. Företaget visar också att mer vanlig video i träningen kraftigt minskar hur mycket inspelad robotstyrning som behövs.

Vikterna finns på Hugging Face under Apache 2.0, och tränings- och körkoden ligger på GitHub. Den körs via Perceptrons eget kodförråd och LeRobot, och tanken är att team ska kunna finjustera den på sina egna inspelade demonstrationer.