Il seminterrato che sposta l'asticella dell'inference

La notizia non è che un modello con pesi da circa 151 GB produca 24 token/s. La notizia è che lo fa in un seminterrato, su una macchina che il proprietario ha descritto come «relativamente low rent». Il racconto su Reddit indica una configurazione precisa: processore Epyc 7663, 256 GB di memoria ECC DDR4-3200 e una singola RTX 5090 da 32 GB. Nessun framework elettrico dedicato, nessun cluster di GPU, nessuna sala server: un assemblato che, stando alla descrizione, ospita deepseek-v4-flash-0731 con quantization Q8_K_XL.

I numeri riportati sono altrettanto concreti. Il throughput in inference si attesta tra 23,8 e 24,6 token/s. Il prompt processing parte da 60 token/s sul primo prompt e sale fino a 385 token/s nelle fasi finali, quando la cache riempie task con contesti da 100-128k token. Non sono cifre da servizio di produzione, ma per un uso personale o per test su contesti lunghi sono numeri che hanno un senso operativo.

Il punto non è celebrare l'impresa di un appassionato. È riconoscere che un modello di grandi dimensioni può girare in locale su un singolo acceleratore se intorno c'è una piattaforma con memoria di sistema abbondante e una CPU server. Per chi osserva deployment on-premise, è un dato di campo che contraddice la narrazione per cui servirebbero necessariamente più GPU con VRAM aggregata pari ai pesi.

Certo, un singolo caso non fa statistica. Ma è un segnale di direzione: la soglia tecnica per l'inference self-hosted di un LLM di grandi dimensioni è più porosa di quanto molti prospetti lascino intendere. E questo cambia il modo di leggere gli investimenti.

MoE e CPU: la VRAM non deve contenere tutto il modello

La configurazione funziona perché deepseek-v4-flash-0731 usa un'architettura MoE. In un modello di questo tipo, non tutti gli esperti vengono attivati per ogni token. Questo permette di distribuire il lavoro tra CPU e GPU: la CPU con RAM ECC gestisce parte degli esperti o dei layer, mentre la GPU accelera ciò che passa dalla VRAM. La GPU non deve ospitare l'intero grafo dei pesi.

Il racconto sull'Epyc lo rende visibile. I 151 GB di pesi superano di quasi cinque volte la VRAM disponibile sulla RTX 5090. Eppure il sistema produce token. La memoria di sistema diventa un'estensione della VRAM, non un semplice parcheggio. La CPU e i canali di memoria DDR4-3200 fanno da base per il lavoro che la GPU non può contenere.

Questa è una implicazione di primo ordine per chi progetta infrastrutture on-premise. La capacità di memoria di sistema e la banda di memoria diventano vincoli altrettanto rilevanti della VRAM. Non basta acquistare la scheda più potente: la combinazione tra CPU, RAM e acceleratore determina se un modello da 151 GB può essere caricato e servito senza saturare il sistema.

Il risultato, in questo caso, resta da workstation più che da data center. Ma è sufficiente per un uso personale o per test su contesti lunghi. Il fatto che un singolo appassionato possa esplorare questo spazio con un budget relativamente contenuto è il vero cambiamento.

Banda, PCIe e regressioni: il bilanciamento è un equilibrio instabile

Il limite strutturale non scompare. La DDR4-3200 su piattaforma Epyc non è il massimo della banda di memoria. I dati devono viaggiare dalla RAM alla GPU attraverso PCIe, con latenza e ampiezza di banda inferiori rispetto alla VRAM. La RTX 5090 con architettura Blackwell accelera il compute, ma non può compensare del tutto la distanza fisica tra memoria di sistema e GPU.

I dettagli sulle regressioni sono istruttivi. DFlash rendeva il sistema più lento, non più veloce. L'aggiunta temporanea di una RTX 3090 non ha aiutato, anzi ha peggiorato le prestazioni. Il fatto che una seconda GPU introduca svantaggi suggerisce che il bilanciamento tra compute e memoria è delicato. Non basta aggiungere una GPU qualsiasi: serve una combinazione coerente tra CPU, RAM, acceleratore e software di orchestrazione.

Il punto è che le prestazioni di questo tipo di sistema non si misurano con una sola cifra. Il prompt processing parte da 60 token/s e sale a 385 token/s nelle fasi finali, quando la cache riempie task con contesti da 100-128k token. La variabilità è alta. Chi valuta deployment on-premise dovrebbe guardare alla curva completa, non al singolo dato di picco.

Il caso della RTX 3090 è particolarmente utile per smontare l'idea che più acceleratori equivalgano automaticamente a più prestazioni. Su una macchina con un solo slot PCIe sfruttato, l'aggiunta di una seconda GPU può introdurre overhead di sincronizzazione, contendere il bus e sbilanciare la distribuzione dei layer. Il software di orchestrazione diventa importante quanto l'hardware.

Sovranità dei dati e TCO: il costo di ingresso scende

Se un modello da 151 GB gira in un seminterrato senza framework elettrico dedicato e senza oltre 10.000 dollari di acceleratori, il costo marginale della sovranità dei dati scende. Non si tratta di costruire un data center: si tratta di accettare una latenza maggiore e una frequenza di token/s più bassa in cambio del controllo sui dati.

Il trade-off è concreto. Team piccoli, laboratori e aziende soggette a requisiti di residenza possono valutare di portare in locale modelli che prima erano fuori portata. Chi gestisce API cloud per workload saltuari può perdere proprio quella fascia di utenti che finora era costretta a usare il cloud per modelli troppo grandi per l'hardware locale.

Il calcolo del TCO non si ferma all'acquisto dei componenti. Una macchina del genere consuma energia, richiede RAM ECC abbondante e va mantenuta. Ma il costo di ingresso per l'inference self-hosted di un LLM di grandi dimensioni appare più basso di quanto molti prospetti suggeriscano. Non è zero, ma è più accessibile.

Per chi valuta deployment on-premise, AI-RADAR mette a disposizione framework analitici su /llm-onpremise per confrontare questi trade-off: capacità di memoria, banda, consumo e complessità di integrazione. Il messaggio non è che il cloud sparirà, ma che la decisione tra cloud e self-hosted diventa più sfumata.

Chi perde e chi guadagna: la mappa del nuovo on-premise

La configurazione descritta non incorona un singolo fornitore. Segnala piuttosto che la corsa all'inference on-premise si sposta dalla somma di teraflop al bilanciamento tra componenti. I produttori di CPU server e di memoria ECC entrano con più forza nella conversazione AI, mentre i produttori di GPU devono confrontarsi con un scenario in cui una singola scheda di fascia alta può bastare in contesti che prima richiedevano più acceleratori.

I team piccoli e i laboratori guadagnano margine di manovra. Un sistema assemblato con componenti server di precedente generazione e una singola GPU recente può aprire spazi di sperimentazione su contesti lunghi e dati sensibili. Il cloud mantiene vantaggi in termini di elasticità e gestione operativa, ma non è più l'unica opzione per modelli di grandi dimensioni.

Per i provider di API cloud, il rischio non è la migrazione di massa, ma l'erosione dei workload saltuari e sensibili. Le organizzazioni che non possono inviare dati all'esterno ora hanno un riferimento concreto per valutare un'alternativa locale. Il costo di uscita dal cloud si misura in competenza e manutenzione, non solo in dollari.

L'effetto di secondo ordine riguarda la progettazione dei modelli stessi. Architetture MoE con attivazione sparsa e pesi voluminosi ma distribuiti possono favorire configurazioni ibride CPU+GPU. Questo potrebbe spingere i fornitori di LLM a ottimizzare i modelli per l'offloading, non solo per la VRAM aggregata.

Cosa guardare da qui in avanti

Il primo segnale da monitorare è la combinazione tra CPU, RAM e acceleratore, più che la singola scheda. Piattaforme con molti canali di memoria ECC e CPU con buona banda di memoria diventano il terreno di confronto per l'inference self-hosted di modelli grandi.

Il secondo è l'evoluzione delle tecniche di quantization e di offloading. La quantization Q8_K_XL citata nel racconto consente di ridurre il footprint senza far crollare il throughput, ma il punto di equilibrio cambia con i modelli e con l'hardware. Sarà interessante osservare se nuove tecniche di distribuzione dei layer riducono ulteriormente la penalità del trasferimento su PCIe.

Il terzo è il comportamento delle regressioni. Il fatto che DFlash e una RTX 3090 abbiano peggiorato le prestazioni indica che l'ottimizzazione non è lineare. I team che vogliono replicare questo tipo di setup dovrebbero procedere per misurazioni, non per accumulo di componenti.

Il quarto è il costo di ingresso. Se un seminterrato con componenti «relativamente low rent» può servire un modello da 151 GB, la soglia per la sovranità dei dati si abbassa. AI-RADAR continuerà a osservare queste configurazioni, perché il futuro dell'inference on-premise non è solo questione di GPU, ma di architettura di sistema.