Sedici gigabyte di VRAM, una scheda video che chiunque può installare in un case desktop, e un modello linguistico da 30 miliardi di parametri che sforna testo a oltre 50 token al secondo. Non è il futuro, ma il risultato dell’ultimo esperimento di un utente Reddit pubblicato sotto lo pseudonimo di Azazelionide: il motore artigianale ribattezzato garlic-inference è riuscito a far girare Qwen3-30B-A3B su una RTX 5060 Ti con prestazioni che surclassano del 50% llama.cpp, il framework di riferimento per l’inference locale. Il boost arriva da kernel CUDA e codice C++ scritti a mano, ispirati a soluzioni apparse in conferenze come NeurIPS, ICML ed EuroSys.

L’architettura Mixture-of-Experts del modello, con soli 3 miliardi di parametri attivi per token su un totale di 30, è la chiave che rende possibile il miracolo. Senza MoE, un LLM da 30B in float8 occuperebbe da solo gran parte della memoria disponibile, strozzando la velocità. Qui invece la computazione reale per token è contenuta, e il collo di bottiglia si sposta sulla capacità del runtime di orchestrare il routing degli esperti e i trasferimenti tra VRAM e unità di calcolo. Ed è proprio lì che garlic-inference fa il salto, aggredendo le inefficienze con codice altamente specializzato.

L’aspetto più rilevante non è tanto il record fine a sé stesso, quanto il segnale che lancia a chi osserva il settore dal punto di vista dell’hardware per deployment on-premise. L’RTX 5060 Ti, con i suoi 16 GB, non è una workstation aziendale: è una scheda pensata per il gaming e il piccolo sviluppo. Eppure, abbinata a un motore di inference non generico, riesce a offrire una latenza paragonabile a quella che fino a pochi mesi fa avremmo associato a GPU da data center con il quadruplo della memoria. Questo significa che il differenziale tra hardware consumer e soluzioni professionali si sta assottigliando più in fretta di quanto i vendor sarebbero disposti ad ammettere, e che la partita del TCO potrebbe spostarsi a favore del self-hosted molto prima del previsto.

C’è da chiedersi, però, chi possa davvero beneficiare di una simile ottimizzazione. Il progetto garlic-inference è un proof-of-concept: manca di supporto enterprise, di garanzie di stabilità e di integrazione con pipeline di produzione. Per un’azienda che valuta di portare l’inference in house, il rischio di dipendere da codice non testato su larga scala è spesso inaccettabile. Tuttavia, la direzione è inequivocabile: l’ingegnerizzazione delle soluzioni locali sta raggiungendo una maturità che permette di sottrarre carichi di lavoro dal cloud senza sacrificare l’esperienza utente. La sovranità dei dati, il rispetto del GDPR e la prevedibilità dei costi diventano così argomenti concreti, non solo dichiarazioni di principio.

L’esistenza di un motore come garlic-inference rilancia anche il confronto tra framework generalisti e implementazioni verticali. llama.cpp rimane la scelta di default per la sua flessibilità e per l’enorme comunità che lo mantiene, ma il distacco del 50% ottenuto con codice custom suggerisce che c’è ancora molto spazio per spremere le architetture consumer. Non è difficile immaginare che i prossimi mesi portino a una corsa all’ottimizzazione simile a quella che abbiamo visto nel mondo mobile dopo l’arrivo di TensorFlow Lite e Core ML: chi arriva prima con un runtime snello e performante conquista un’utenza di sviluppatori che non vuole mandare i propri dati in giro.

Chi perde, nel breve termine, sono i servizi cloud che vendono inference come commodity a margini elevati. Se una singola persona con una scheda da poche centinaia di euro può gestire un modello da 30B con una fluidità più che accettabile, il valore aggiunto del data center si riduce a casi limite: modelli molto più grandi, fine-tuning online, o orchestrazione su scala. Per gli altri, il calcolo locale diventa non solo un’opzione etica, ma una scelta di buon senso economico. La scommessa, naturalmente, è che l’hardware di fascia consumer continui a evolversi mantenendo un rapporto performance-prezzo favorevole, e che le community open-source trovino il modo di portare queste ottimizzazioni fuori dal garage e dentro strumenti utilizzabili da chiunque.