NVIDIA Nemotron 3.5 Lightning

Nemotron 3.5 Lightning är en öppen språkmodell från NVIDIA och efterföljare till Nemotron 3 Nano. Den är tänkt för avgränsade uppgifter i system där flera AI-modeller samarbetar, till exempel kodgranskning, verktygsanvändning, övervakning av säkerhetslarm och frågor om fakturor. Modellen har 30 miljarder parametrar totalt, men bara omkring 3 miljarder används per token, vilket gör den snabb. Arkitekturen är en hybrid av Mamba-2-lager, mixture-of-experts-lager och vanliga attention-lager, med flertokensprediktion, och kontextfönstret är upp till en miljon tokens.

Enligt NVIDIA ger modellen upp till fyra gånger snabbare utdata, vilket gör att agentuppgifter blir klara omkring 30 procent snabbare än med andra modeller i samma klass. Tanken är att företag ska efterträna den på sina egna data, verktyg och arbetsflöden med NVIDIA NeMo. NVIDIA nämner bland andra CrowdStrike, Harvey, CodeRabbit, Lila Sciences och Fastino Labs som användare.

Modellen kan köras på allt från RTX-datorer, DGX Spark, DGX Station och Jetson till datacenter och moln. Vikterna finns på Hugging Face i 4-bitarsformatet NVFP4 och som GGUF för llama.cpp, och den finns i Ollama, på OpenRouter, ModelScope och som NVIDIA NIM. Licensen är OpenMDW-1.1, som tillåter kommersiell användning.

Samtidigt släppte NVIDIA NeMo Switchyard, ett öppet bibliotek som skickar varje steg i ett agentflöde till den lämpligaste modellen, öppen eller stängd, utan att man behöver skriva om sin app. Enligt NVIDIA:s egna tester behåller det nästan toppmodellernas träffsäkerhet till ungefär en tredjedel av kostnaden jämfört med att bara använda Claude Opus 4.8.