La quantization è diventata il passaggio obbligato per portare i Large Language Model fuori dai data center cloud e dentro l’infrastruttura aziendale, riducendo l’impronta di memoria e accelerando l’inference. Finora, però, chi sceglieva metodi lossy come GPTQ o AWQ accettava un degrado misurabile della qualità, mentre le tecniche lossless preservavano la fedeltà ma non offrivano veri guadagni prestazionali. Un nuovo paper, pubblicato due mesi fa e recentemente rilanciato da Red Hat AI, propone una terza strada: la compressione “statisticamente senza perdita” (statistically-lossless), che garantisce la qualità dell’output in termini probabilistici senza sacrificare la velocità.

Il lavoro introduce SLQ, una tecnica di quantization scalare non uniforme a livello di layer, con quantization asimmetrica e una ricerca estesa dello spazio dei bit. I ricercatori definiscono tre livelli di “losslessness”. Il primo, “task-lossless”, preserva l’accuratezza dei benchmark zero-shot entro la varianza naturale di campionamento e si raggiunge già a bit per parametro molto aggressivi: sotto i 4 bit, fino a 3,3 bit a seconda del modello. Il secondo, più stringente, è “distribution-lossless”: la distribuzione dei token successivi prodotta dal modello quantizzato è praticamente indistinguibile da quella del modello originale. Per misurarlo, il paper formalizza l’Expected Acceptance Rate (EAR), la probabilità massima di accordo sui token sotto accoppiamento ottimo — per esempio, un EAR ≥ 0,99 indica il 99% di concordanza. Questo livello richiede in media 5-6 bit per parametro.

Il terzo contributo è una legge di varianza (gamma-framework) che mostra come la quantization simmetrica amplifichi il rumore di un fattore gamma² rispetto a quella asimmetrica: un dettaglio matematico che ha conseguenze pratiche immediate. L’asimmetria è indispensabile per la fedeltà distribuzionale, ma non necessaria per preservare le prestazioni aggregate sui task. In altre parole, se l’obiettivo è un modello che risponde “come l’originale” — non solo con la stessa precisione su benchmark — bisogna abbandonare gli schemi simmetrici comuni.

I numeri contano. SLQ accelera l’inference di un fattore compreso tra 1,7 e 3,6x rispetto al formato FP16, con kernel ottimizzati che girano sia su GPU sia su CPU (è citato esplicitamente llama.cpp, a riprova di una compatibilità con stack di deployment locale già diffusi). Questo cambia i termini dell’equazione per chi gestisce modelli on-premise. Per un’organizzazione che oggi spende decine di migliaia di euro in GPU per far girare un modello da 70 miliardi di parametri, scendere sotto i 4 bit senza perdita di qualità significa poter usare hardware meno costoso, o far convivere più modelli sulla stessa macchina, o estendere la lunghezza del contesto senza esaurire la VRAM. La riduzione del consumo energetico, altro costo nascosto dell’inference locale, va nella stessa direzione.

A livello strutturale, questo tipo di ricerca segnala che la compressione non è più un compromesso “a perdere”. L’idea che si possa mantenere l’indistinguibilità statistica dell’output a 5-6 bit — e comunque la piena accuratezza sotto i 4 bit — sposta l’asticella per i vendor di soluzioni on-premise. Chi sviluppava hardware dedicato per l’inference, magari puntando su INT8 o INT4, si trova oggi di fronte a modelli che possono girare su formati non standard ma comunque supportati da kernel open source. Lo spazio per hardware specializzato si restringe, mentre cresce la pressione su chi offre piattaforme di deployment a ottimizzare i propri runtime per schemi asimmetrici non uniformi.

Per il lettore di AI‑RADAR, la domanda non è più “quanto posso comprimere senza rompere il modello”, ma “quale garanzia statistica di qualità mi serve per il mio caso d’uso”. Un’applicazione di customer support che richiede alta coerenza semantica potrebbe esigere il livello distribution-lossless (EAR ≥ 0,99) e accettare 5‑6 bit. Un tool di classificazione interna può invece operare a 3,3 bit task‑lossless, risparmiando risorse. Il codice di SLQ è annunciato su GitHub come “coming soon” e la condivisione da parte di Red Hat AI suggerisce che il mondo enterprise ha già acceso un radar su queste tecniche.