Cento dollari. Tanto basta per costruire un server LLM che gestisce tre sessioni simultanee su un modello da 35 miliardi di parametri, con 32.000 token di contesto ciascuna e una generazione di testo attorno ai 23 token al secondo. La dimostrazione arriva da un utente Reddit che ha messo in coppia due NVIDIA P102-100, vecchie GPU pensate per il mining, accessibili sul mercato dell’usato a prezzi stracciati.

Il log pubblicato racconta la configurazione in dettaglio: due schede con 10 GB di VRAM l’una, banda complessiva dichiarata di 448 GB/s, montate su un sistema con processore Xeon W-2135. Il motore è llama.cpp, che carica il modello Qwen 3.6 35B nella variante A3B (architettura MoE con 3,6 miliardi di parametri attivi), quantizzato a 4 bit. Il framework alloca tre slot di inference, ciascuno con finestra di contesto pari a 32k token, e gestisce le richieste in parallelo. Durante un test su tre task identici, l’elaborazione del prompt viaggia attorno ai 480 token al secondo, mentre la generazione si assesta su circa 23,5 t/s per utente, equivalenti a oltre 70 t/s cumulativi. Senza fronzoli, senza cloud.

La vicenda è molto più di un esercizio di riciclo hardware. Mette in luce un nodo strategico del panorama AI on-premise: la scelta di llama.cpp di ancorare il proprio stack a CUDA 12.x anziché inseguire le versioni più recenti. Le GPU basate su architettura Pascal, compute capability 6.1, non sono più supportate da CUDA 13.x. Eppure, gli sviluppatori di llama.cpp continuano a mantenere la compatibilità con i rami 12.8 e 12.9, rilasciati nella primavera del 2026. Una decisione che, come osserva l’autore del post, “tiene in vita una fetta enorme di utenti”, proteggendo gli investimenti di chi non può o non vuole rincorrere l’ultima generazione di acceleratori.

Una mossa che sposta gli equilibri

Questo ancoraggio al ramo 12.x non è neutrale. Dal lato dell’adozione enterprise, segnala che lo stack open source per l’inference è abbastanza maturo da dettare i tempi all’ecosistema dei driver, anziché subirli. Chi oggi valuta un deployment on-premise può mettere nel calcolo del TCO anche schede di quinta o sesta mano, purché abbiano sufficiente VRAM. La matematica è semplice: 100 dollari contro le migliaia necessari per una GPU di ultima generazione con pari quantità di memoria.

Dietro i numeri si intravvedono effetti di secondo ordine. Il mercato delle GPU da mining, già saturo dopo la fine del boom di criptovalute, trova un nuovo sbocco nell’inference di modelli aperti. Questo preme al ribasso sul costo dell’hardware per piccole organizzazioni, sviluppatori indipendenti e dipartimenti IT che operano in logica air-gapped. Per loro, poter eseguire un modello MoE da 35B con prestazioni dignitose senza inviare dati all’esterno è un cambio di paradigma: la sovranità dei dati diventa concretamente accessibile.

Non manca chi perde terreno. NVIDIA, che sta spingendo le nuove architetture Blackwell proprio per consolidare il segmento AI enterprise, vede erodersi la fascia più sensibile al prezzo. I provider cloud che offrono API di inference perdono appeal quando una soluzione locale costa l’equivalente di pochi mesi di abbonamento. La frizione tra l’agenda di un vendor di silicio e la realtà di una comunità open source si fa visibile: llama.cpp non ha interesse ad alienare la base utenti, e la base utenti include migliaia di possessori di vecchie schede.

Ciò che vale per un hobbista, vale per un CFO

Il punto non è tanto che un hobbista possa smanettare con due schede riciclate. È che la stessa logica scala. L’esempio di queste P102-100 dimostra che il parco hardware dismesso, se orchestrate con i giusti runtime e modelli ottimizzati, può soddisfare carichi di lavoro reali: chat aziendali interne, assistenti per la documentazione, prototype di prodotti senza toccare rete pubblica. La quantization spinta e le architetture MoE fungono da amplificatori, e il costo energetico, tutto sommato, resta contenuto: due schede da 250W l’una difficilmente fanno saltare il budget elettrico di un ufficio.

Naturalmente restano i limiti. La latenza di 23 t/s non è quella di un servizio premium, e la finestra di contesto non è infinita. Ma per molti use case – riepiloghi, traduzioni, interrogazione di base di conoscenza – è più che sufficiente. E la direzione è chiara: con l’avanzare delle tecniche di compressione, la soglia d’ingresso per l’inference on-premise continuerà a scendere.

A chi osserva il fenomeno dall’angolazione della sovranità digitale, storie come questa consegnano una lezione netta: il controllo dell’infrastruttura non è più appannaggio esclusivo di chi spende milioni in hardware. A volte bastano un centinaio di dollari, un framework che non molla i vecchi driver e la volontà di non delegare i propri dati a un IP remoto.