NVIDIA Nemotron 3.5 Super VL

Nemotron 3.5 Super VL är en öppen modell från NVIDIA för AI-agenter som behöver både resonera och förstå bilder. Den kombinerar resonemang, instruktionsföljning och verktygsanvändning med förståelse av text, bilder, dokument och video i en och samma modell, så att man inte behöver en separat bildmodell bredvid språkmodellen. Den har 120 miljarder parametrar totalt, varav 12 miljarder används per token, och ett kontextfönster på upp till en miljon tokens.

Arkitekturen är en hybrid av Mamba-2-lager, mixture-of-experts-lager och vanliga attention-lager, med bildkodaren C-RADIO. Modellen är destillerad från den större Nemotron 3 Ultra och har tränats extra på kod, agentuppgifter, diagram, tabeller, textigenkänning (OCR) och flersidiga dokument. Den har också fått extra träning på indiska språk, och NVIDIA släpper samtidigt ett dataset med omkring 2,8 biljoner tokens på 22 indiska språk.

NVIDIA betonar fart. Enligt företaget ger den upp till fem gånger högre genomströmning på en GPU än andra öppna modeller i samma storlek, och flera knep som spekulativ avkodning (tekniken LiLiCorr), flertokensprediktion och 4-bitarsformatet NVFP4 gör den snabbare och mindre. Den är optimerad för att köras lokalt på NVIDIA DGX Spark.

Tanken är att företag ska efterträna modellen på sina egna data, verktyg och regler. NVIDIA nämner Scale AI, Ramp och AI21 som exempel, med bland annat 40 gånger lägre kostnad för en uppgift hos Scale AI. Vikterna (grundmodell, eftertränad modell och NVFP4-version) släpps under OpenMDW-1.1-licensen, som tillåter kommersiell användning, tillsammans med träningsrecept, data och miljöer för förstärkningsinlärning.