Hardware per LLM Locali

Due numeri decidono quasi tutto nell'hardware per LLM locali: la VRAM (se il modello entra) e la banda di memoria (i tuoi token/sec — la generazione single-user fa scorrere l'intero modello nella GPU a ogni token, quindi i GB/s contano più dei TFLOPS). La regola pratica: VRAM ≈ parametri(B) × 0,55 × 1,15 a 4-bit — un 34B entra in una scheda da 24GB, un 70B vuole 48GB. I contesti lunghi aggiungono la KV-cache, che a 100k+ token può rivaleggiare coi pesi.

Le fasce pratiche: 24GB (RTX 3090 usata / 4090 — il punto di valore, esegue 7–34B), 32GB (RTX 5090 — l'inferenza consumer più veloce), 48GB (classe RTX A6000 o doppia 24GB — la fascia dei 70B), 80GB+ (schede datacenter — contesto lungo, 8-bit, training). Apple Silicon gioca un'altra partita: un'enorme memoria unificata contiene modelli che nessuna GPU consumer regge, a velocità inferiori.

Riferimenti approfonditi: guida all'acquisto GPU · matematica del sizing VRAM · Hardware Matrix · quantizzazione. Qui sotto: l'ultima intelligence hardware dal radar.