La regola non scritta tra chi esegue LLM in locale era di non scendere sotto la quantization Q4. Il salto verso i livelli Q3 veniva considerato troppo rischioso, con modelli spesso degradati. Un test su una RTX 4060 Ti da 16 GB racconta però una storia diversa per Qwen 3.8 27B in Q3_xxs: caricato interamente in VRAM ha toccato 30-35 token/s, scendendo a 21-22 token/s solo con contesti lunghi. La velocità è risultata sostanzialmente identica a quella di un 35B a quantization più alta parzialmente scaricato in RAM. Tradotto: avere tutto il modello in VRAM ha compensato la minore precisione numerica, almeno sul fronte della latenza.

L'aspetto più interessante non è però la fluidità. L'utente non impiega il modello in flussi agentici ma lo usa per assistenza occasionale al coding. In questo scenario Qwen 3.8 27B ha completato al primo tentativo diversi compiti seri di programmazione, producendo giochi e applicazioni web funzionanti. Il Qwen 3.6 35B usato in precedenza, nelle stesse prove, falliva del tutto o richiedeva ore di prompting e correzioni. Eppure, lo stesso modello in Q3_xxs ha mostrato anche l'altra faccia: nelle conversazioni normali ha frainteso alcune richieste e ha sbagliato operazioni elementari di ordinamento o conteggio di pochi valori. La dissociazione tra compiti complessi risolti al primo colpo e banali scivoloni è netta.

Questa asimmetria è il punto strutturale. Le metriche aggregate e i benchmark generici possono restituire un framework fuorviante: un LLM capace di gestire logica avanzata può fallire su mansioni basilari che per un assistente conversazionale contano altrettanto. Con la quantization, il degrado non è uniforme: colpisce alcune capacità più di altre, e in un modello fortemente orientato al codice può concentrarsi proprio sugli strati meno sollecitati dai test di programmazione. Per chi valuta un deployment self-hosted, la conseguenza è che il livello di quantization va considerato come una variabile di progetto legata al carico di lavoro, non come una soglia universale.

C'è anche un segnale per l'hardware. Una GPU consumer da 16 GB, spesso giudicata al limite per modelli della classe 27B, si dimostra sufficiente per un'inference fluida finché il modello resta interamente in VRAM. Questo riduce la pressione verso schede con più memoria per una parte dei carichi di coding locale e sposta l'attenzione sulla qualità del modello e sulla sua tenuta a bassa precisione. Allo stesso tempo, il fatto che il Q3_xxs regga su compiti impegnativi ma inciampi su attività semplici impone di includere nei test di accettazione anche conversazioni aperte e operazioni di base, non solo benchmark difficili. Per chi deve scegliere tra precisione, velocità e controllo nei deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per soppesare i trade-off.

Il caso non dice che il Q3_xxs sia la nuova normalità. Dice che la vecchia regola del Q4 come confine invalicabile va messa in discussione modello per modello, e che il degrado da quantization si presenta in modi che solo un uso prolungato e specifico può rivelare.