La cifra che colpisce non è tanto il throughput in token/s, quanto il fatto che una macchina del genere esista in un seminterrato. Un appassionato ha descritto su Reddit la sua configurazione di inference locale per deepseek-v4-flash-0731: un processore Epyc 7663, 256 GB di memoria ECC DDR4-3200 e una singola RTX 5090 da 32 GB. L'insieme, definito "relativamente low rent", ospita un modello i cui pesi occupano circa 151 GB.

Con la quantization Q8_K_XL, il sistema produce tra 23,8 e 24,6 token/s. Il prompt processing parte da 60 token/s sul primo prompt e sale a 385 token/s nelle fasi finali, quando la cache riempie task con 100-128k token di contesto totale. L'autore segnala anche due regressioni: DFlash rendeva il sistema più lento e l'aggiunta temporanea di una RTX 3090 non ha aiutato.

Il punto interessante è che una GPU da 32 GB non contiene l'intero modello. In una architettura MoE, il sistema può distribuire il lavoro tra CPU e GPU; la CPU con molta RAM ECC gestisce parte degli esperti o dei layer, mentre la GPU accelera ciò che passa dalla VRAM. Questo ribalta una convinzione diffusa: per modelli di questa scala non serve necessariamente un parco di GPU con VRAM aggregata pari ai pesi. La capacità di memoria di sistema e la banda di memoria diventano vincoli altrettanto rilevanti. Nel caso specifico, la DDR4-3200 su piattaforma Epyc non è il massimo della banda, e infatti il throughput resta da workstation più che da servizio di produzione. Ma è sufficiente per un uso personale o per test su contesti lunghi.

Questa esperienza ha implicazioni di secondo ordine per chi valuta deployment on-premise. Se un modello da 151 GB gira in un seminterrato senza un framework elettrico dedicato e senza oltre 10.000 dollari di acceleratori, il costo marginale della sovranità dei dati scende. Non si tratta di costruire un data center: si tratta di accettare una latenza maggiore e una frequenza di token/s più bassa in cambio del controllo sui dati. È un trade-off che interessa team piccoli, laboratori e aziende soggette a requisiti di residenza. Chi gestisce API cloud per workload saltuari può perdere proprio quella fascia di utenti che finora era costretta a usare il cloud per modelli troppo grandi per l'hardware locale.

Resta però un limite strutturale: la banda di memoria e il trasferimento su PCIe non scompaiono. La RTX 5090 con Blackwell accelera, ma non può compensare del tutto la distanza tra RAM e GPU. Il fatto che una RTX 3090 peggiori le prestazioni suggerisce che il bilanciamento tra compute e memoria è delicato: non basta aggiungere una GPU qualsiasi. Chi osserva questi test dovrebbe guardare più alla combinazione tra CPU, RAM e acceleratore che alla singola scheda.

In termini di TCO, il calcolo non si ferma all'acquisto dei componenti. Una macchina del genere consuma energia, richiede RAM ECC abbondante e va mantenuta. Tuttavia, il costo di ingresso per la inference self-hosted di un LLM di grandi dimensioni appare più basso di quanto molti prospetti suggeriscano. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per confrontare questi trade-off: capacità di memoria, banda, consumo e complessità di integrazione.