Compattare un modello vision-language da 74 miliardi di parametri dentro un budget di memoria che lascia spazio ad altre applicazioni: è il gesto tecnico con cui NVIDIA posiziona Nemotron 3.5 Bolt 74B-A9B 24GB. La scheda Hugging Face non lo presenta come esperimento di ricerca isolato, ma come componente per task agentici quotidiani da eseguire in locale, con licenza OpenMDW-1.1 e possibilità di uso commerciale o non commerciale.

Il modello unisce un'architettura ibrida Mamba-2-Transformer, un modulo LatentMoE e un encoder visivo C-RADIO v4-H. Dei 74 miliardi di parametri totali, 9 miliardi sono attivi: una configurazione tipica degli approcci MoE per contenere il calcolo per token, mentre la memoria resta legata all'intera collezione di esperti. La scelta più rilevante è la precisione IQ2, una quantization nativa a 2 bit ottenuta con un addestramento che tiene conto della compressione fin dall'inizio. È qui che il footprint scende a 24 GB, consentendo al modello di convivere con altre applicazioni.

Non è però una compressione fine a se stessa. NVIDIA indica il supporto a testo, immagini e video in ingresso, con output testuale e una finestra di contesto dichiarata fino a 256K token. Il deployment previsto passa da vLLM su GPU NVIDIA Ampere (A100), Hopper (H100-80GB) o Blackwell. Il decoding speculativo con drafter LiLiCorr via DFlash e 7 token speculativi, disponibile nelle ricette Bolt, serve proprio a compensare la latenza che un modello così compresso potrebbe introdurre nel ragionamento e nella generazione. Le modalità di ragionamento si controllano dal template di chat con enable_thinking True o False, mentre il sampling consigliato resta temperatura 1.0 e top_p 0.95.

Il punto strutturale, per chi osserva l'evoluzione dell'inference on-premise, è il cambio di priorità: non si parte più dalla GPU e si cerca un modello che entri in memoria; si fissa prima il vincolo dei 24 GB e si costruisce il modello per rispettarlo. Questo ha conseguenze su TCO e allocazione delle risorse: un VLM da 74B può restare attivo accanto ad altri carichi senza esaurire la VRAM disponibile. Allo stesso tempo, un contesto fino a 256K token non è gratuito in fase di serving: la cache chiave-valore cresce con la lunghezza della sequenza e va inclusa nel dimensionamento, nonostante i 24 GB dichiarati per il pacchetto. AI-RADAR osserva questo tipo di rilascio come un indicatore della soglia minima di hardware e pipeline per portare modelli vision-language nei perimetri aziendali.

Non meno importante è la disponibilità di pesi, dati di addestramento e ricette della famiglia Nemotron. Chi ha già una pipeline vLLM su hardware NVIDIA può valutare Bolt come componente da integrare nei sistemi esistenti, senza dipendere da un solo provider di inference. Il messaggio è chiaro: la soglia per portare un modello vision-language da 74B dentro un perimetro locale si è abbassata, e la competizione si sposta sulla qualità dell'orchestrazione, sulle pipeline e sul controllo dei dati. La scheda riporta inoltre un cutoff dei dati di post-training a maggio 2026.