La quantization post-training viene di solito trattata come un'ottimizzazione semanticamente neutra, quasi un dettaglio infrastrutturale per portare un Large Language Model su dispositivi edge. Il lavoro in esame mostra che è esattamente lì che si può annidare un attacco strutturale. Il problema non sta nel modello sorgente, ma nel salto tra ciò che si valida e ciò che si distribuisce.

Quando un checkpoint a precisione piena viene valutato e poi quantizzato senza una nuova valutazione equivalente, si crea un vuoto tra validazione e deployment. La quantization è una mappatura many-to-one nello spazio dei parametri: più configurazioni a precisione piena collassano nella stessa rappresentazione compressa. La certificazione a precisione sorgente non garantisce l'equivalenza comportamentale nella configurazione distribuita.

Il paper formalizza questo vuoto con le Quantization Behavioral Equivalence Classes, dimostrando che appartenere alla stessa classe non implica equivalenza comportamentale. È la base teorica per backdoor attivate dalla quantization. Gli autori hanno costruito un fine-tuning avversariale in tre fasi, incorporando payload malevoli latenti che superano i controlli a precisione piena e si attivano soltanto con compressione INT8 o a 4 bit. Hanno esteso i test precedenti dai modelli decoder-only causali ai modelli multilingua encoder-decoder sequence-to-sequence, con due scenari operativi: traduzione automatica tattica e analisi di contenuti politici.

I numeri danno la misura del salto: i modelli di traduzione compromessi passano da zero corruzione friend-foe misurata a FP16 riparato fino all'85,02% di inversione dopo la quantization. Un classificatore di posizionamento abbinato registra uno spostamento ideologico fino a ΔBias=0,33 dopo compressione. L'analisi di trasferibilità tra quantizzatori mostra che la persistenza dell'attacco varia a seconda dello schema di quantization e dell'architettura del modello, non solo della larghezza nominale in bit.

La tesi che ne deriva è netta: l'audit di sicurezza che si ferma alla precisione sorgente è un artefatto del passato. Per l'AI su edge e on-premise, la certificazione comportamentale deve includere la configurazione finale compressa. Questo sposta il perimetro della fiducia dal modello alla coppia modello-compressione e, in prospettiva, alla combinazione software-hardware.

Per chi gestisce deployment self-hosted o air-gapped, il vantaggio del controllo diretto si trasforma in un nuovo onere: non basta testare il modello, bisogna testare ogni percorso di compressione che verrà usato in produzione. I fornitori di hardware e runtime non possono più limitarsi a promettere throughput; la variabilità tra schemi di quantization e architetture segnala che il costo di validazione è parte del TCO. Chi vince oggi sono gli attaccanti che sfruttano l'automatismo delle pipeline di compressione; chi perde è chi ha basato le garanzie di conformità solo sul checkpoint sorgente. A livello strutturale, la notizia spinge verso una revisione delle pratiche di audit: la sicurezza dei LLM compressi non è una proprietà del modello, ma del sistema distribuito. Per chi valuta deployment on-premise, AI-RADAR offre su /llm-onpremise framework analitici per soppesare questi trade-off.