Il dibattito sulle GPU per l'inference locale si concentra spesso su configurazioni estreme: più schede in parallelo, 24 GB di VRAM e workstation con tre 3090 o una 5090. Ma la maggior parte di chi lavora con LLM in locale ha un tetto molto più basso. Sedici gigabyte di VRAM, e in molti casi dodici, rappresentano il limite reale con cui fare i conti. Il dato emerge da una comunità di appassionati sbilanciata verso l'alto, ma fotografa un vincolo strutturale che condiziona l'intero ecosistema self-hosted.

Non si tratta di un semplice problema di budget. La disponibilità di VRAM definisce quali modelli possono girare, a quale livello di quantization e con quale velocità di inference. Una scheda da 16 GB può ospitare modelli quantizzati di dimensione media, ma non i pesi completi dei modelli più grandi; una da 12 GB restringe ulteriormente il campo. Il punto della fonte è che gli ultimi sei mesi hanno cambiato le carte: il coding agentico è diventato praticabile anche su 16 GB, per esempio con quantizzazioni di Qwen 27B. Non è una conquista da poco: sposta il confine tra ciò che richiede un server e ciò che può girare su una singola macchina.

Questa soglia bassa non è solo un vincolo per gli utenti singoli. È un segnale di mercato: la domanda di AI locale si sta concentrando su hardware da 12-16 GB, non sulle configurazioni multi-GPU che dominano le discussioni. I produttori di GPU e i laboratori di ricerca hanno quindi un incentivo a ottimizzare per la memoria piuttosto che per la pura potenza di calcolo. La quantization, una tecnica che riduce la precisione numerica dei modelli, diventa il default progettuale, non un ripiego. E le architetture che promettono di svincolare le prestazioni dalla VRAM e dalla bandwidth diventano l'obiettivo di lungo periodo, perché il Transformer attuale paga un prezzo alto in termini di memoria.

Per chi valuta un deployment on-premise, il framework è duplice. Da un lato, un parco macchine con 16 GB di VRAM riduce il costo iniziale e il TCO rispetto a server multi-GPU, e consente di mantenere i dati all'interno dell'organizzazione. Dall'altro, i modelli che girano su queste macchine hanno un limite intrinseco nella quantità di conoscenza del mondo che possono immagazzinare. Non è una questione di ottimizzazione: è un confine fisico legato al numero di parametri e alla precisione con cui vengono rappresentati. La conseguenza è che le aziende devono accettare un trade-off: controllo e costi contenuti, oppure capacità più estesa nel cloud.

Per orientarsi tra questi vincoli, AI-RADAR offre framework analitici su /llm-onpremise, con l'obiettivo di rendere espliciti i trade-off senza suggerire soluzioni preconfezionate. La domanda non è se i modelli piccoli miglioreranno, ma se l'industria riuscirà a rompere il legame tra conoscenza e memoria prima che la soglia dei 16 GB diventi un soffitto permanente.