Quando si parla di LLM in locale, il primo collo di bottiglia non è il silicio dei core, ma la memoria che lo alimenta. Un confronto pubblicato su Reddit da u/jacek2023 prova a mettere ordine: tre grafici, basati sulle GPU più discusse nei subreddit LocalLLaMA, LowEndLocalAI e LocalLLM. Il primo mostra i gigabyte di VRAM per dollaro; il secondo la bandwidth dichiarata sulla carta, non i token al secondo; il terzo, nei commenti, il rapporto tra bandwidth e prezzo.

È una comparazione volutamente rudimentale, come ammette l'autore. I prezzi sono stati raccolti con ChatGPT e possono contenere imprecisioni; dove possibile sono stati usati prezzi del nuovo, altrimenti del mercato dell'usato. Ma il valore non sta nella precisione contabile: sta nello spostare il confronto dalle specifiche di marketing ai vincoli reali dell'inference self-hosted.

La scelta di usare la bandwidth di targa anziché i token/s è più astuta di quanto sembri. I token/s dipendono da troppi fattori: framework di serving, livello di quantization, lunghezza del contesto, batch size, driver. La bandwidth, invece, è un dato fisico dichiarato dal produttore e dice molto su quanto rapidamente una GPU può spostare i pesi di un modello tra VRAM e unità di calcolo. Per modelli che non entrano in una singola GPU, o per inferenze con cache di contesto lunga, questo parametro diventa spesso il fattore limitante.

Il 3090 come unità di misura informale

Il fatto che il grafico usi la RTX 3090 come riferimento implicito non è un dettaglio. Nelle community locali, questa scheda è diventata un metro di paragone: il grafico permette di vedere se un'altra GPU è, sulla carta, più veloce o più lenta della 3090. È un modo per tradurre dati sparsi in una domanda concreta: vale la pena spendere di più per un modello più recente, o la scheda di generazione precedente offre ancora il miglior equilibrio?

Qui si inserisce il tema dei prezzi. La raccolta affidata a ChatGPT mescola listini del nuovo e quotazioni dell'usato, con un margine di errore dichiarato. Non è una base per un ordine d'acquisto aziendale, ma riflette una realtà: il parco GPU per l'inference on-premise si costruisce spesso attraverso canali non ufficiali, dove il prezzo reale oscilla e la disponibilità cambia rapidamente. Chi deve calcolare il TCO di un piccolo nodo locale si trova a fare i conti con un mercato opaco.

Per chi valuta deployment on-premise, esistono trade-off tra schede consumer e hardware datacenter: garanzia, alimentazione, raffreddamento e continuità operativa non sono parametri secondari. AI-RADAR offre framework analitici su /llm-onpremise per leggere questi vincoli in modo strutturato.

Il confronto di jacek2023 non sostituisce una valutazione tecnica seria. Ma ha il merito di porre la domanda giusta: per un LLM in locale, quanta memoria reale hai per ogni euro speso e quanto velocemente la puoi usare? Se non sai rispondere, forse stai guardando la GPU sbagliata.