Mettere un modello da 27 miliardi di parametri su una GPU con 16 GB di VRAM obbliga a scelte che non sono neutre. Il confronto condotto da un utente su una RTX 5080 con 21 varianti di Qwen3.8 27B, usando codice C come banco di prova, mostra un divario molto più ampio di quanto l'etichetta di quantization lasci intuire: si passa da una divergenza media di 0,893 per il QAT Q2_0 da 8,2 GiB a 0,056 per l'IQ4_XS di bartowski da 14,5 GiB.

Il dato non è il solito ranking di modelli: è la conferma che, quando la VRAM è scarsa, la scelta del singolo file GGUF può pesare più della scelta del modello base. La tabella ordina le varianti per Mean KLD, una misura di divergenza tra distribuzioni di token che premia i valori bassi. In parallelo, la colonna Same top p indica quanto spesso la variante quantizzata seleziona lo stesso token più probabile del riferimento. Le due metriche, in questo caso, convergono: le varianti più aggressive pagano un prezzo chiaro in termini di coerenza probabilistica.

Il risultato complessivo migliore arriva da bartowski/Qwen3.8-27B-IQ4_XS, con Mean KLD 0,056482 e un accordo del 95,835 per cento. Non è il file più leggero del lotto, ma è il punto in cui la compressione a 4 bit sembra preservare buona parte del comportamento originale senza sforare i 16 GB. Per chi cerca una variante senza filtri, huihui-ai/Huihui-Qwen3.8-27B-abliterated-UD-IQ4_XS segue da vicino con 0,082871 e 94,981 per cento, a conferma che l'abliterazione non deve per forza costare qualità.

Sul lato opposto, il QAT Q2_0 di sdkyuan registra una divergenza media di 0,893 e un accordo sul token più probabile dell'85,727 per cento: numeri che spiegano l'aggettivo 'underwhelming' usato dall'autore. Anche il file da 8,2 GiB è il più compatto della lista, ma il risparmio di memoria si traduce in una perdita rilevante. Altre varianti tra 7,8 e 9,9 GiB mostrano Mean KLD comprese tra 0,77 e 0,35: restano teoricamente utili per compiti non critici, ma il confronto con l'IQ4_XS è impietoso.

Il caso delle due varianti unsloth Q4_K_XL è ancora più istruttivo. Con Mean KLD di 0,029844 e 0,028026 sarebbero in cima alla classifica, ma i file da 16,4 e 16,7 GiB non entrano nella GPU, come annota l'autore con 'can't fit'. È il limite pratico del self-hosted: una quantization può essere superiore sulla carta e comunque inutilizzabile se il file supera la VRAM disponibile al netto di contesto, sistema e processi. Su una scheda da 16 GB il margine operativo reale è inferiore alla dimensione nominale.

La lezione strutturale per chi valuta deployment on-premise non è 'prendete il modello più grande che entra', ma che il mercato delle quantizzazioni è ormai una selva di sigle: QAT, IQ2, IQ3, Q3_K_XL, Q4_K_XL, NVFP4, Ridge, Cold Fusion. I benchmark su task reali, come il codice C usato qui, diventano l'unico modo per orientarsi, perché il nome del GGUF non dice abbastanza sulla qualità percepita. Non sorprende che l'autore si rivolga a persone 'VRAM starved': la fascia delle GPU consumer da 16 GB è diventata il laboratorio dell'AI locale, dove ogni gigabyte conta. I framework analitici su /llm-onpremise aiutano a ragionare su questi trade-off: non esiste una variante migliore in assoluto, ma una che tiene conto della VRAM disponibile, del tipo di workload e dei vincoli di governance.