Una singola GPU H100 che fino a ieri poteva gestire una sola richiesta con contesto da un milione di token ora ne sostiene otto contemporaneamente. Non è un trucco di marketing, ma il guadagno secco ottenuto dal modello Nemotron-Labs-3-Puzzle-75B-A9B, rilasciato da NVIDIA su Hugging Face e pronto per uso commerciale.

Il team dei Nemotron Labs ha preso il gigante Nemotron-3-Super (120,7 miliardi di parametri totali, 12,8 attivi) e lo ha compresso con un framework di post-training chiamato Iterative Puzzle, portandolo a 75,3 miliardi totali e 9,3 attivi. Non stiamo parlando di un semplice pruning: il modello adotta un’architettura ibrida MoE con strati interleaved di Mamba, Mixture of Experts e Attention, e supporta la Multi-Token Prediction per generare testo più in fretta. Il risultato è un throughput server raddoppiato su un nodo con 8 GPU B200, a parità di vincoli di utenza, e una capacità di gestire contesti lunghi che cambia le carte in tavola per carichi di lavoro ragionativi, agentivi e multilingue.

Dietro i numeri si nasconde una postura strategica molto nitida. NVIDIA non sta solo distribuendo un modello più leggero; sta dimostrando che la compressione post-training, se orchestrata con cura, può diventare un moltiplicatore di efficienza per il deployment on-premise. Meno parametri attivi significa meno VRAM occupata per richiesta, più spazio per il KV cache e la possibilità di impacchettare più utenti sullo stesso ferro, riducendo il costo per query senza toccare la qualità. I benchmark interni, dettagliati nel report tecnico, confermano che l’accuratezza rimane solida su ragionamento, codice, contesti lunghi e scenari agentic.

L’impatto sui conti di chi ospita il modello in casa

Per le imprese che valutano il self-hosting, il TCO di un LLM dipende in gran parte dal numero di GPU necessarie a sostenere il carico di picco. Un salto da una a otto richieste concorrenti su una sola H100 con 1 milione di token di contesto può dimezzare o più i costi di inference, rendendo economico ciò che prima richiedeva un cluster. Invece di aggiungere nodi, si sfrutta al meglio la VRAM già disponibile, e questo riduce CapEx, consumi energetici e complessità operativa. Inoltre, la compatibilità con le lingue europee – italiano compreso – e l’uso immediato in ambito commerciale rimuovono barriere per le aziende che operano in mercati regolati o con dati sensibili, dove il controllo resta interno.

Un altro aspetto da non sottovalutare: il framework Iterative Puzzle non è pubblico né descritto come replicabile da altri vendor. NVIDIA addestra e comprime per il proprio ecosistema hardware, creando un circolo virtuoso (o vizioso, a seconda della prospettiva) che lega la scelta del modello a quella delle GPU. Chi compra B200 o H100 per far girare questi modelli ottimizzati vede throughput che i concorrenti faticano a raggiungere con soluzioni generiche. È un incentivo forte per chi ha già investito nell’infrastruttura NVIDIA e un segnale per chi sta valutando alternative: la differenza non la farà solo il silicio, ma la simbiosi tra chip e modelli compressi su misura.

Il contesto da un milione di token, infine, non è un esercizio di stile. I carichi di lavoro reali – analisi di intere codebase, revisione di documentazione legale, agenti che setacciano log aziendali – richiedono finestre di attenzione sempre più estese. Il fatto che Puzzle-75B-A9B riesca a gestirne otto in parallelo su hardware già presente in molti datacenter sposta la frontiera di ciò che è praticabile senza ricorrere a GPU specializzate di prossima generazione. Per il responsabile dell’infrastruttura AI, la domanda diventa: quanti workload posso consolidare su un nodo prima di doverlo scalare? La risposta, con questo modello, è nettamente più alta di ieri.