Le migliori GPU per eseguire LLM in locale

I due numeri che decidono tutto

Le prestazioni degli LLM in locale sono vincolate prima di tutto dalla VRAM: se modello e contesto entrano nella memoria GPU si evita l'offload sulla CPU; altrimenti latenza e throughput cambiano sensibilmente, in misura diversa secondo runtime e carico. Scegliere una GPU significa quindi scegliere una fascia di VRAM.

Dentro una fascia, il differenziatore è la banda di memoria. La generazione dei token spesso legge ripetutamente gran parte dei pesi, quindi la banda è una stima di primo ordine, non un benchmark. Le specifiche ufficiali indicano 24GB e 936 GB/s per RTX 3090 e 32GB e 1.792 GB/s per RTX 5090: confronta questi dati pubblicati con il modello e il runtime che userai. Specifiche RTX 3090 · Specifiche RTX 5090. Una scheda con VRAM generosa ma bus stretto può quindi contenere un modello e risultare lenta.

Il compute (TFLOPS, tensor core) conta anche per prompt processing, fine-tuning e serving ad alto batch. Per la chat single-stream la banda è spesso un buon indicatore, ma misura il modello target: kernel, quantizzazione e contesto possono cambiare l'equilibrio.

Fasce di VRAM — cosa esegue davvero ciascuna

La formula di sizing

VRAM (GB) ≈ parametri(B) × byte/peso × 1.15

Byte per peso ≈ 0,5–0,6 (4-bit), 1 (8-bit), 2 (FP16). Il ×1,15 copre la KV-cache a contesto moderato — contesti lunghi (32k+) possono richiederne molta di più, e quantizzare la cache a Q8 ne recupera gran parte (vedi la guida alla quantizzazione). Esempio: un 34B a 4-bit ≈ 34 × 0,55 × 1,15 ≈ 21GB, quindi entra in una scheda da 24GB con margine per il contesto. Un 70B a 4-bit ≈ 40GB di pesi — da qui la fascia 48GB.

Il mercato dell'usato: dove sta il valore

La RTX 3090 usata è spesso interessante perché combina 24GB di VRAM e 936 GB/s di banda. Che sia il miglior valore dipende da prezzo locale, condizioni, consumi e garanzia; questa guida non dichiara una classifica universale di prezzo o velocità. Cosa controllare comprando usato:

• Passato da mining — non squalifica automaticamente (le schede da mining undervoltate spesso hanno vissuto vite tranquille), ma scontalo nel prezzo. Chiedi screenshot di stress test (es. una run FurMark/OCCT con le temperature).
• Termiche della VRAM — i chip di memoria posteriori della 3090 possono scaldare; controlla i limiti dichiarati dal produttore e misura la temperatura di giunzione sotto carico ripetibile. Un valore vicino al limite è un motivo per ispezionare il raffreddamento, non la prova che i pad siano esausti.
• Garanzia reale — assumi zero. Lo sconto rispetto al nuovo è il tuo budget assicurativo.
• 3090 Ti / 4090 usata — la Ti corregge il design termico della memoria; le 4090 usate raramente scendono a prezzi interessanti per via della domanda AI. Se il divario con una 3090 usata è ampio, prendi la 3090.

Anche le schede ex-datacenter/workstation (A5000 24GB, A6000 48GB) compaiono nell'usato: dissipatori blower (più rumorosi ma ottimi da impilare), consumi più bassi, larghezza 2 slot — spesso la via più intelligente ai 48GB in una workstation.

NVIDIA, AMD, Intel — lo stato reale delle cose

NVIDIA è il default per una ragione: ogni strumento funziona, dal giorno uno, senza asterischi — CUDA resta il fossato. Se il tuo tempo ha valore o vuoi che fine-tuning, modelli immagine e stack di serving funzionino e basta, compra NVIDIA.

AMD è genuinamente usabile per l'inferenza: llama.cpp gira bene via Vulkan o ROCm, e le Radeon con molta VRAM costano meno di NVIDIA per GB. L'attrito compare oltre l'inferenza di base — ROCm supporta ufficialmente una lista ristretta di schede, gli stack di fine-tuning sono CUDA-first, e i percorsi AMD di molti progetti sono mantenuti dalla community. Buona per un box di inferenza dedicato ed economico; frustrante come piattaforma di sperimentazione.

Intel Arc offre prezzi VRAM aggressivi e supporto llama.cpp in miglioramento (SYCL/Vulkan), ma l'ecosistema è ancora più giovane. Viabile per smanettoni; non ancora una scelta set-and-forget.

L'alternativa Apple Silicon

Un Mac con memoria unificata gioca un'altra partita: un M-series Max/Ultra con 64–192GB può contenere modelli che nessuna GPU consumer regge — un 70B a Q5, persino MoE da 100B+ — in silenzio, a una frazione dei consumi. I compromessi: la banda di memoria (~400–800 GB/s) è sotto le GPU discrete di fascia alta, quindi le velocità token sui modelli grandi sono usabili-ma-non-veloci; il prompt processing su contesti molto lunghi è nettamente più lento delle schede CUDA; e il supporto al fine-tuning (MLX a parte) è limitato.

Scegli un Mac se vuoi i modelli più grandi possibili su un desktop silenzioso e vivi già in quell'ecosistema. Scegli un box GPU per velocità, serving, fine-tuning o prezzo nella fascia 24GB. Molti finiscono con entrambi: Mac per l'uso quotidiano dei modelli grandi, rig GPU per il lavoro pesante.

Multi-GPU: sommare la VRAM

Per l'inferenza, i framework distribuiscono il modello tra le GPU, quindi due schede da 24GB contengono un modello da ~48GB. Conosci le due modalità: layer split (default di llama.cpp — le GPU si alternano, la VRAM si somma ma la velocità è circa quella di una scheda sola) e tensor parallel (vLLM/ExLlama — le GPU lavorano simultaneamente; aggiunge velocità reale ma vuole schede uguali e interconnessione veloce). NVLink (3090) aiuta tensor parallel e training; il semplice PCIe va bene per l'inferenza layer-split.

Metti a budget la piattaforma, non solo le schede: controlla la disposizione reale delle linee PCIe della scheda madre, calcola il margine dell'alimentatore in base a GPU e CPU scelte, e verifica spazio e flusso d'aria nel case. Un rig dual-GPU può contenere un modello più grande, ma capacità e velocità dipendono da split mode, interconnessione e runtime; una singola scheda workstation da 48GB scambia complessità di assemblaggio con prezzo d'acquisto.

Consumi: la voce invisibile

Una GPU da 350–450W usata spesso è un costo ricorrente — il costo annuo dipende da potenza reale, ore di utilizzo e tariffa elettrica. Tratta ogni cifra di consumo come una stima da verificare con un wattmetro o con la telemetria della macchina. Due mitigazioni sono power-limit o undervolt tramite gli strumenti del produttore e abbinare la scheda al ciclo d'uso: se il box sta fermo gran parte del giorno, una scheda più piccola o il noleggio a burst può battere il possesso (vedi la guida ai costi).

Migliori scelte per profilo

• Primo box LLM locale, budget stretto — RTX 3090 usata 24GB. Nient'altro si avvicina per euro speso.
• Enthusiast / sviluppatore uso quotidiano — RTX 4090, o 5090 (32GB) se il budget lo consente: i ~1,8 TB/s di banda della 5090 sono l'inferenza consumer più veloce disponibile.
• Piccolo team che serve un 70B on-prem — RTX A6000/6000 Ada 48GB (semplicità a scheda singola, driver pro), o doppia 3090 usata a metà prezzo e più assemblaggio.
• Desktop silenzioso, modelli più grandi possibili — Mac Studio con memoria unificata al massimo.
• Server di pura inferenza economico — AMD con molta VRAM via llama.cpp/Vulkan, con gli occhi aperti sul tooling.
• Produzione / training — classe A100/H100/Blackwell — ma il noleggio a ore di solito batte l'acquisto finché l'utilizzo non è costantemente alto.

Errori comuni del compratore

• Comprare VRAM su un bus stretto. 16GB su bus a 128-bit contengono un 13B e poi arrancano. Controlla i GB/s, non solo i GB.
• Comprare per il modello che "prima o poi" userai. Una scheda da 80GB per chattare ogni tanto con un 7B è denaro bruciato; noleggia le run grandi.
• Ignorare il resto del box. Il fallimento classico: 4090 ordinata, poi arriva il conto di alimentatore, spazio nel case (3,5+ slot!) e flusso d'aria.
• Assumere che due schede = velocità doppia. Il layer-split raddoppia la capacità, non la velocità. Il tensor parallel aggiunge velocità ma vuole schede uguali.
• Snobbare la RAM di sistema. 64GB di DDR permettono a llama.cpp di gestire con grazia i layer in overflow e di tenere in cache i modelli tra le run — assicurazione economica.