Un esperimento tanto succulento quanto istruttivo arriva dai forum: un redditor ha messo alla prova i Large Language Models Qwen 3.6 e Gemma 4 con un compito decisamente originale — generare un singolo file HTML che disegni su canvas un realistico spiedo di döner kebab che ruota davanti a un elemento riscaldante a gas. Ma invece di fermarsi alla prima prova, ha eseguito il test a diversi livelli di quantization, da Q8 a IQ2, raccogliendo nove iterazioni per ogni configurazione e selezionando il risultato migliore (con criterio puramente soggettivo, definito “yumminess”).

Il risultato? Una lezione pratica sui costi nascosti della compressione dei modelli. Con quantization spinta, i LLM perdono progressivamente finezza: il fuoco diventa più elementare, la rotazione scompare, gli elementi finiscono fuori posto. Gemma 4 sembra resistere meglio alle basse precisioni con risultati “sorprendentemente stabili”, mentre i Qwen a bassa quantization producono codice instabile e meno coerente. Il team dietro il post nota come Gemma 4 appaia “più lobotomizzato” man mano che si scende di precisione, ma gli altri modelli soffrono una perdita di “finezza” ancora più accentuata.

Perché la quantization non è un pranzo gratis

Dietro l’apparente bizzarria del test si nasconde un nodo strategico per chiunque valuti il deployment on-premise di LLM. La quantization è la via maestra per far girare modelli da decine di miliardi di parametri su hardware consumer o server aziendali senza dover investire in GPU da decine di migliaia di euro. I formati ridotti (8-bit, 4-bit, fino a 2-bit con tecniche come IQ2) permettono di dimezzare o più l’occupazione di VRAM. Tuttavia, come dimostra il test del döner, su compiti di generazione di codice complesso e creativo i bit che mancano si fanno sentire: la struttura logica si sfalda, i dettagli visivi spariscono, la coerenza si perde.

Questo non significa che la quantization sia dannosa in assoluto. Per molti carichi di lavoro tipici — analisi di testo, sintesi, risposte a domande — i modelli quantizzati mantengono un’efficacia sorprendente, come ormai ben documentato dalla letteratura. Ma quando si passa a output strutturati, codice funzionante o interfacce interattive, il degrado può essere rapido. Per le aziende che stanno abbracciando il self-hosting per ragioni di privacy, sovranità dei dati o semplicemente TCO, questa variabile diventa critica: occorre tarare il giusto trade-off tra costi hardware e qualità dell’output, senza incappare in cali prestazionali che vanifichino l’investimento.

Uno spunto interessante arriva dal fatto che il redditor ha dovuto scartare diversi tentativi perché i modelli entravano in loop o davano errori di tipo “invalid assignment to const”. Questo sottolinea come la valutazione delle performance non possa basarsi su un singolo prompt ma richieda iterazioni multiple, specialmente quando si lavora con modelli quantizzati. Un monito per chi sviluppa pipeline di inference e metriche automatiche: il “miglior risultato” spesso sopravvive solo dopo una robusta selezione umana.

In definitiva, il Döner Bench non è solo un divertente esercizio di stile, ma un promemoria pragmatico: la democratizzazione dei LLM via quantization ha un prezzo. E quel prezzo si paga in fette di kebab che non girano più.