Il dibattito sulla post-training quantization dei LLM ruota quasi sempre attorno a un compromesso invisibile: quanto possiamo semplificare la funzione di perdita prima che il modello compresso smetta di comportarsi come l'originale. I metodi oggi considerati più solidi sciolgono il nodo con un risolutore di secondo ordine in forma chiusa, ma per restare analiticamente trattabili devono rinunciare all'accoppiamento tra canali e raggruppare le righe in uscita. Il risultato è una matrice Hessiana congelata che non si aggiorna mentre il paesaggio della loss si sposta colonna dopo colonna. REAL-Q chiama questo fenomeno information misalignment e propone una via diversa: invece di semplificare l'obiettivo per farlo stare in una formula chiusa, punta a un surrogato allineato end-to-end della loss globale e lo raffina con una discesa del gradiente a blocchi.

Nel dettaglio, REAL-Q applica la correzione dopo ogni blocco di 128 colonne e usa un meccanismo a finestra scorrevole per rendere più morbide le transizioni tra layer consecutivi. L'obiettivo esplicito è ridurre la propagazione degli errori lungo la rete. I numeri riportati dal team riguardano LLaMA-3.1 nelle versioni da 8B e 70B e Qwen3 da 0.6B a 32B, in configurazione W4A16: la divergenza KL end-to-end scende fino a circa il 49% rispetto ai metodi state-of-the-art guidati globalmente.

Per i deployment sotto vincoli di risorse, il dato non è marginale. La configurazione W4A16 tiene i pesi a 4 bit e le attivazioni a 16 bit: una scelta frequente quando si vuole ridurre l'occupazione di VRAM senza intervenire troppo sull'hardware di calcolo per l'inference. Ma ridurre i bit non è gratis. La perdita di informazione si distribuisce lungo tutta la rete e i metodi chiusi, con la loro visione congelata, faticano a intercettare gli errori che si accumulano nei blocchi successivi. REAL-Q sposta il costo: accetta una fase di quantization iterativa e più pesante pur di consegnare un modello compresso più vicino all'originale. È un cambio di compromesso che interessa soprattutto chi opera in regime self-hosted o edge, dove non si può compensare con un'infrastruttura cloud più generosa.

La conseguenza strutturale è che la compressione dei LLM smette di essere un passaggio one-shot e statico. La discesa del gradiente a blocchi introduce una granularità fine che può correggere localmente ciò che una soluzione globale non vede: un avvicinamento alla logica del fine-tuning, anche se applicato dopo l'addestramento. Non è un dettaglio tecnico, ma un segnale per il mercato dei tool di deployment. I fornitori che puntano su pipeline di quantization rapide e a singolo passaggio potrebbero dover integrare aggiornamenti iterativi per restare competitivi sul fronte della qualità end-to-end. Al contrario, i team che controllano internamente la pipeline di compressione possono valutare un controllo più fine sulla fedeltà del modello, senza dover delegare tutto a un servizio esterno.

Per chi osserva il passaggio dal cloud all'infrastruttura locale, il lavoro su REAL-Q tocca un punto sensibile: la sovranità dei dati e il controllo operativo non si esauriscono nella scelta del server o della GPU. La capacità di quantizzare bene un LLM decide se un modello da 8B o 70B può convivere con i vincoli di memoria di un nodo on-premise senza rinunciare troppo alla qualità. Su AI-RADAR, i framework analitici su /llm-onpremise servono proprio a valutare questi trade-off. Qui la lezione è che la qualità della quantization non può essere data per scontata: è una variabile di progetto, non un'operazione neutra. La riduzione della divergenza KL fino al 49% non è un traguardo assoluto, ma indica che i metodi globali lasciano sul tavolo margini significativi quando si osserva la rete nel suo insieme.