Chiamatelo Tequila, come l’hostname del suo creatore. Un PC assemblato con una NVIDIA GeForce RTX 4060 Ti da 16 GB, un processore AMD Ryzen 5 9600X a 6 core e 138 GB di RAM DDR5 spinge un modello da 98 GB a velocità che fino a sette giorni fa sembravano irraggiungibili: 7,44 token al secondo, contro i 2 t/s della settimana precedente. Il modello è DeepSeek V4 Flash, compresso con la quantization più aggressiva (Q2_K_XL) nello spazio di un singolo file GGUF, e il merito del balzo va agli sviluppatori di llama.cpp, che tra le build b9986 e b10034 hanno messo a punto ottimizzazioni capaci di spremere ogni ciclo di CPU.

La configurazione è un manifesto del fai-da-te on-premise. Il modello non entra nella VRAM della scheda video, che pure è stimata a 16 GB, e quindi la generazione avviene quasi interamente su CPU, con i layer del modello distribuiti in modalità split tra GPU e RAM di sistema (split-mode layer). La finestra di contesto è ampia, 131.072 token, e il motore di inference usa thread multipli (16 per la generazione, 20 per il batch) e flash attention attivata via flag. Il prompt evaluation di 14 token ha toccato i 15,24 t/s, ma è la velocità sostenuta su output lunghi—12.000 token generati—a fare notizia: 7,44 t/s con una latenza media di 134 millisecondi per token.

Un incremento del 300%, da 2 a 7 t/s, non è solo una curiosità da laboratorio. Porta l’inference CPU di modelli massicci a un livello quasi interattivo, utile per chatbot, riassunti, traduzioni e assistenza alla programmazione, tutte attività dove la percezione di fluidità conta. E lo fa senza ricorrere al noleggio di istanze GPU cloud, che per un modello simile richiederebbe almeno una A100 o H100 con costi mensili a quattro cifre.

Il punto non è tanto il modello in sé—la quantization estrema sacrifica precisione, e DeepSeek V4 Flash è una famiglia ancora poco battuta—quanto la traiettoria tecnicica. Llama.cpp sta diventando il runtime di riferimento per l’inference efficiente su architetture eterogenee, spingendo CPU e GPU consumer ben oltre i loro limiti nominali. Le ottimizzazioni recenti toccano la gestione della cache, il riutilizzo dei grafi di computazione (quasi 12.000 grafi riutilizzati nel test) e la pianificazione dei thread su architetture Zen 5, dimostrando che il software può moltiplicare le prestazioni in modo decisivo.

Per le organizzazioni che valutano deployment on-premise con vincoli di sovranità dei dati, questo risultato è una conferma: non servono data center pieni di acceleratori. Un desktop ben dimensionato, con tanta RAM e una GPU di fascia media, può eseguire localmente LLM di grandi dimensioni, mantenendo i dati al sicuro e azzerando i costi di trasferimento. I trade-off restano—la latenza è accettabile ma non da tempo reale, la qualità della quantization va pesata caso per caso—ma il rapporto costo-prestazioni si avvicina a quello di soluzioni ben più esose.

C’è un effetto strutturale da non sottovalutare. L’hardware diventa commodity quando il software colma il divario, e llama.cpp sta facendo esattamente questo: democratizza l’accesso all’inference di modelli grandi, spostando la competizione dai chip alla qualità degli strati runtime. In un ecosistema dove i modelli crescono più in fretta dei budget IT, la capacità di girare in locale su macchine già presenti in azienda potrebbe diventare il fattore decisivo per molti progetti di adozione dell’IA.

Per chi naviga queste scelte, AI-RADAR mantiene strumenti analitici su /llm-onpremise per valutare i compromessi tra accelerazione GPU, stratificazione CPU e strategie di quantization, senza dimenticare l’impatto sulla compliance. Intanto, la community di llama.cpp continua a "cucinare"—come dice l’autore del test—e ogni commit avvicina il sogno del modello personale, potente e interamente offline.