SceneAgent

SceneAgent kommer från Computational Robotics Group vid Harvard (Luke Hollis, Tianxing Fan och Heng Yang). Systemet tar en 3D-skanning av en riktig plats, främst i form av 3D Gaussian Splatting men även fotogrammetri, LiDAR eller vanlig video, och bygger om den till en simulering som robotar kan tränas och utvärderas i.

På vägen delar systemet upp scenen i enskilda föremål, fyller i det som döljs bakom dem och uppskattar fysikaliska egenskaper som material, vikt, friktion och hur styvt eller böjligt något är. Föremål kan delas upp i rörliga delar, och det går att simulera att saker böjs, skärs eller går sönder. Ett team av AI-agenter granskar varje steg, bland annat med hjälp av renderade bilder, för att hitta och rätta fel som felplacerade eller felskalade föremål. Systemet skapar också "digitala systrar": varianter av föremål som inte är exakta kopior, så att robotar kan tränas på fler variationer. Scenerna kan exporteras till Isaac Lab, MuJoCo och Unreal Engine.

Forskarna använder SceneAgent i en slinga: en robotpolicy testas i simuleringen, misslyckanden rättas av en expertstyrning, policyn finjusteras i simuleringen och testas sedan igen på den riktiga roboten. Enligt projektsidan gav finjustering enbart i simulering av modellerna pi0.5 och GR00T 1.6 tidiga förbättringar i verkligheten, men de fullständiga resultaten från verkliga tester är ännu inte klara. De fysikaliska värdena är uppskattningar som inte kalibrerats mot verkliga mätningar.

Arbetet är ett förtryck från 2026. Kod, bearbetade scener och exempelföremål ska släppas tillsammans med artikeln; projektsidans artikellänk pekar i dagsläget på gruppens tidigare arbete SimFoundry.