La quantization post-training si sta rivelando una trasformazione non neutra: può creare divari tra validazione e deployment e backdoor nascoste, mentre nuovi metodi basati su gradiente riducono la perdita di qualità. Questo la rende sia una leva di ottimizzazione sia una superficie d'attacco emergente.
Un nuovo metodo di post-training quantization, REAL-Q, usa la discesa del gradiente a blocchi per ridurre fino a circa il 49% la divergenza KL end-to-end rispetto ai metodi di secondo ordine su LLaMA-3.1 e Qwen3 a W4A16. Un risultato che tocca i depl...
La compressione post-training non è una trasformazione neutra. Un paper mostra classi di equivalenza comportamentale che collassano parametri diversi e aprono backdoor attivate solo dopo quantization INT8 o 4 bit. I test su modelli multilingua segnal...
Un nuovo studio formalizza il validation-deployment gap: un LLM può superare i controlli a precisione piena e attivare comportamenti dannosi solo dopo quantization INT8 o a 4 bit. Nei test, la traduzione tattica passa da zero corruzione a FP16 ripara...
