La corsa ai modelli locali non si gioca più solo sui miliardi di parametri. Una classifica pubblicata da un utente su Reddit mette in fila i LLM che girano su GPU con 10-16GB di VRAM e 26-32GB di RAM, usando criteri che misurano l'esperienza reale: velocità minima di 10 token/s, coerenza narrativa, capacità di gestire errori di battitura e sfumature, e frequenza dei cosiddetti slop pattern. Il risultato è una fotografia utile per chi valuta inference self-hosted su hardware consumer, non un benchmark accademico.

Metriche da campo, non benchmark sintetici

La valutazione non premia la dimensione in sé. L'autore confronta modelli MoE e dense, prova prompt con 23 regole intrecciate e ignora volutamente i modelli CoT, ritenuti più lenti e inutili per carichi conversazionali. Emerge un vincolo chiave: non basta avere abbastanza VRAM per caricare i pesi; serve anche un inference stack che gestisca contesti lunghi e meccanismi come FlashAttention, SWA e SmartCache. Nel test, alcuni modelli come Qwen 35B-A3B e GLM 31B-A3B richiedono llama.cpp invece di Kobold, segno che l'integrazione tra loader e nuove architetture MoE è ancora un cantiere aperto.

Guardando alla lista, Gemma 4 26B-A4B si posiziona in alto per dialogo e precisione, mentre Qwen 35B-A3B è veloce ma tende a seguire troppo i pattern precedenti. La famiglia Gemma risulta creativa e divertente, Qwen curioso ma a volte troppo elaborato, Mistral brillante nel dialogo ma debole nel seguire regole complesse, Llama ripetitivo. Non sono difetti marginali: per chi sviluppa agenti o ruoli conversazionali su hardware locale, la personalità del modello può determinare la necessità di istruzioni aggiuntive o di un cambio di architettura.

Il confine della conoscenza resta sopra i 200B

Il dato più strutturale riguarda la conoscenza. L'autore ha fatto un test su anime, manga, film e musica, scoprendo che solo modelli sopra i 200B di parametri contengono in modo affidabile questo tipo di informazioni; un 120B raramente le possiede. Questo traccia un confine netto: nella fascia 10-16GB di VRAM si possono ottenere conversazioni fluide e veloci, ma non si può pretendere conoscenza enciclopedica o riferimenti culturali specifici. Il compromesso è tra snellezza operativa e profondità informativa, e non si risolve con la sola quantization.

Questa asimmetria ha conseguenze di secondo ordine. Da un lato spinge chi vuole sovranità dei dati e TCO basso a concentrarsi su casi d'uso ristretti, dove il modello locale non deve sapere tutto ma solo rispondere bene nel dominio. Dall'altro alimenta la domanda di architetture ibride: inference locale per interazione e controllo, modelli cloud o remoti per conoscenza generale. Il test segnala anche che la corsa ai modelli compatti MoE sta allargando l'offerta sotto i 16GB, ma il software di serving e i loader devono ancora maturare per sfruttarli senza attriti. Per chi valuta deployment on-premise, AI-RADAR offre strumenti analitici su /llm-onpremise per mappare questi trade-off.