Quasi venti ore ininterrotte di lavoro orientato all'obiettivo, una coppia di GPU consumer di fascia diversa e un modello da 27 miliardi di parametri con quantization Q6. È il framework emerso da un report pubblicato su Reddit, dove un utente descrive una sessione di coding agentico con Qwen3.8-27B Q6 in esecuzione su una RTX 3090 e una RTX 3060, mantenendo una velocità di 60–63 token/s per l'intera durata. Il dato, pur essendo un singolo riscontro non verificato, dice qualcosa di strutturale: i modelli locali di fascia media, compressi quanto basta, possono reggere carichi di lavoro agentici prolungati senza passare dal cloud.

La scelta della quantization Q6 è il punto tecnico più rilevante. Riduce l'ingombro in memoria del modello rispetto a una precisione piena, rendendo possibile distribuire i pesi su due schede pensate per il gaming e non per i data center. Non è una novità assoluta, ma vederla applicata a una sessione di quasi venti ore cambia i termini della discussione sul TCO: per chi ha già in casa questo tipo di hardware, il costo marginale dell'inference locale è soprattutto elettrico, non legato a chiamate API o a noleggi orari su piattaforme cloud.

Qui emerge la tesi che merita attenzione: il coding agentico è un banco di prova più severo della generazione di testo singola, perché richiede sequenze lunghe, continui richiami al contesto e interazioni con strumenti esterni. Se un modello da 27B con quantization Q6 tiene i 60–63 token/s su due GPU consumer, il confine tra ciò che richiede un'infrastruttura cloud e ciò che può restare on-prem si sposta, almeno per una classe di attività di sviluppo. I vantaggi non sono solo economici: il codice e le istruzioni restano su macchine locali, un fattore che pesa quando si lavora con repository privati o dati sensibili.

Naturalmente, un singolo report non sostituisce un benchmark. Non sappiamo quanto fossero complesse le modifiche richieste al modello né quale sia stato il tasso di successo degli interventi. La velocità di generazione, da sola, non misura la qualità del ragionamento agentico. Ma il segnale resta: gli LLM in quantization su hardware consumer stanno diventando una via percorribile per chi vuole controllare l'intera pipeline, dal prompt alla patch, senza cedere la propria base di codice a servizi esterni.

Per chi valuta deployment on-premise, AI-RADAR mette a disposizione framework analitici su /llm-onpremise per confrontare questi trade-off senza semplificazioni. La direzione, comunque, è tracciata: il valore non sta solo nel modello, ma nella possibilità di farlo girare dove si decide, con hardware già disponibile e un costo operativo prevedibile.