La quantization post-training può creare un divario tra validazione e deployment, facendo collassare modelli in forme comportamentali equivalenti ma dannose solo dopo la compressione. Nuove tecniche puntano a ridurre la divergenza indotta dalla quantization e a portare alla luce queste superfici d'attacco nascoste.
Un nuovo metodo di post-training quantization, REAL-Q, usa la discesa del gradiente a blocchi per ridurre fino a circa il 49% la divergenza KL end-to-end rispetto ai metodi di secondo ordine su LLaMA-3.1 e Qwen3 a W4A16. Un risultato che tocca i depl...
La compressione post-training non è una trasformazione neutra. Un paper mostra classi di equivalenza comportamentale che collassano parametri diversi e aprono backdoor attivate solo dopo quantization INT8 o 4 bit. I test su modelli multilingua segnal...
Un nuovo studio formalizza il validation-deployment gap: un LLM può superare i controlli a precisione piena e attivare comportamenti dannosi solo dopo quantization INT8 o a 4 bit. Nei test, la traduzione tattica passa da zero corruzione a FP16 ripara...
