llama.cpp ha assorbito il supporto per Qwen3.8-Flash-Next e la notizia non è rimasta sulla carta: un utente ha scaricato la versione GGUF in quantization Q4, ha messo in linea quattro RTX 3090 e ha misurato 55 token al secondo. Il dato arriva da una segnalazione comunitaria, con tanto di video nel thread, e non va letto come un benchmark certificato. Ma è esattamente il tipo di prova su strada che dice molto sulla direzione dell'inference locale.

La scelta della GGUF Q4 non è casuale. La quantization riduce l'ingombro in memoria e rende il modello eseguibile su hardware che altrimenti non lo reggerebbe in precisione piena. Il prezzo è una perdita di precisione che può pesare su compiti complessi, ma per test, prototipi e molti flussi di lavoro locali il compromesso è spesso accettato. Il fatto che il supporto in llama.cpp arrivi così presto rafforza una tendenza strutturale: GGUF è ormai il formato di scambio delle versioni compresse e llama.cpp il motore di riferimento per chi non vuole dipendere da API cloud.

Dietro quei 55 token al secondo, però, c’è un filtro duro: quattro RTX 3090 non sono una configurazione banale. Chi possiede già una workstation multi-GPU può provare un modello nuovo in giornata, senza contratti né provisioning. Chi parte da zero deve mettere in conto un investimento hardware significativo, oltre a consumo elettrico, raffreddamento e rumore. La compatibilità software non abbatte questa barriera; la rende solo più evidente.

Qui sta il passaggio interessante per chi valuta deployment on-premise. Il collo di bottiglia non è più il supporto del modello: è l’economia dell’hardware e la capacità di gestirlo. Una configurazione multi-GPU consumer può avvicinarsi a throughput utilizzabili per assistenti interni o flussi RAG, ma sposta il costo dal canone API al capitale iniziale e alla bolletta. Per un piccolo laboratorio con dati sensibili, questo può essere un trade-off accettabile; per un’azienda che deve servire decine di utenti, il TCO va calcolato con attenzione, confrontando le prestazioni reali con le alternative server e con i servizi gestiti.

Il segnale per il settore locale è chiaro: la distanza tra il rilascio di un modello e la sua esecuzione self-hosted continua a ridursi, trainata da community che testano subito quantizzazioni e configurazioni multi-GPU. Ma il ritmo non dipende solo dal codice: dipende da chi ha schede a disposizione. L’ascesa di llama.cpp come livello comune per l’inference locale premia chi investe in hardware flessibile e in competenze di sistema, mentre rischia di lasciare indietro chi aspetta soluzioni chiavi in mano. In questo senso, ogni merge di supporto non è solo una feature: è un indicatore di quanto il self-hosting stia diventando una competenza distribuita, prima ancora che un prodotto.