C’è un esperimento che circola tra i corridoi dell’inference locale, e merita attenzione. Un utente mette a confronto due modelli molto discussi: Qwen 3.6 (35 miliardi di parametri, versione a 3a3B) e Gemma 4 da 26 miliardi di parametri con QAT (Quantization-Aware Training). Entrambi eseguiti in quantization a 4 bit su hardware on-premise. Il risultato? Gemma 4 sembra molto più intelligente — migliore aderenza alle istruzioni, coerenza narrativa, minor tasso di allucinazioni — nonostante i benchmark collochino Qwen su un gradino superiore. Non è un’impressione isolata: le classifiche Arena.ai danno a Gemma 4 26B appena 7 punti ELO in meno di Qwen 3.6 Plus, un modello proprietario più grande, segno che la percezione umana corregge le metriche sintetiche.

La vera storia però è un’altra: non ci stiamo limitando a confrontare due architetture, ma due filosofie di addestramento. Il punto di svolta è quel “QAT” accanto a Gemma. Il quantization-aware training viene spesso trattato come un dettaglio da addetti ai lavori, ma in realtà è l’unica cosa che salva un modello quando lo comprimi per farlo girare su GPU consumer o server edge con VRAM limitata. Senza QAT, il modello si degrada molto più rapidamente quando scendi dai 16 bit ai 4 bit: l’aderenza al prompt crolla, la coerenza si sfalda. Ecco perché Qwen, pur partendo da un punteggio benchmark più alto, può scivolare in prestazioni reali inferiori quando il deployment è vincolato.

Il messaggio strutturale è chiaro: per chi sceglie LLM on-premise (per privacy, controllo o TCO), i benchmark classici sono un termometro rotto se non tengono conto della resilienza alla quantization. Non si valuta il modello in laboratorio, ma il modello compresso che gira davvero sulla propria infrastruttura. E questo sposta gli incentivi: non solo dimensione e numero di parametri, ma robustezza nella compressione diventa il criterio chiave. Si aprono così possibilità concrete per modelli più piccoli ma ben addestrati — come Gemma con QAT — di competere con mastodonti cloud‑only.

C’è un effetto di secondo ordine che riguarda l’hardware. Se i modelli QAT‑ready mantengono qualità a bit depth bassi, è possibile ottenere prestazioni accettabili con GPU di fascia inferiore, abbattendo il TCO. Meno VRAM necessaria, meno potenza dissipata, margine per stacking o per modelli più lunghi senza esaurire la memoria. E diventa più facile restare dentro i perimetri aziendali senza cedere dati a terzi, rafforzando la sovranità.

Non è un caso, infine, che le metriche umane (Arena.ai) stiano correggendo i benchmark automatici. Chi fa deployment serio su infrastruttura propria dovrà sempre più incorporare questo tipo di validazione: il QAT non è un optional da scheda tecnica, ma un vero e proprio spartiacque tra un modello che brilla in paper e uno che lavora davvero in produzione, sul ferro che hai già nel rack.