Un modello da 27 miliardi di parametri che scende da 55,6 a 19,7 GB senza crollare nei benchmark: è il risultato annunciato dal team QUASAR-QAT per il checkpoint Qwen3.8-27B in NVFP4. La compressione non arriva da una semplice quantization post-training, ma da una distillation consapevole della quantization: il modello BF16 originale ha fatto da insegnante per 2.446 step, mentre ogni layer lineare dei blocchi transformer è stato quantizzato a 4 bit sia per i pesi sia per le attivazioni (W4A4).

Di norma l’attenzione e i layer GDN restano in FP8 o BF16, perché la loro quantization può degradare la qualità in modo marcato. In questo checkpoint, invece, la configurazione è aggressiva: tutti i layer lineari scendono a NVFP4. I numeri pubblicati raccontano una perdita contenuta: GPQA-Diamond passa da 0,9141 del BF16 a 0,9091, mentre AIME26 resta fermo a 1,0000. Il comando di serving con vLLM su GPU NVIDIA Blackwell imposta un contesto di 262.144 token e un’utilizzazione della memoria GPU dello 0,85.

Il prezzo della compattezza

Per chi valuta deployment on-premise, il salto non è solo tecnico. Un checkpoint da 19,7 GB abbassa la soglia di VRAM necessaria rispetto ai 55,6 GB del modello BF16. Questo cambia il calcolo del TCO e rende più concreto il self-hosted di un modello da 27 miliardi di parametri, senza passare da API cloud e senza spostare i dati all’esterno. Ma la compattezza ha un vincolo: NVFP4 è un formato strettamente legato all’ecosistema NVIDIA e, nel caso di questo checkpoint, alle GPU Blackwell. Non si tratta di una riduzione di precisione neutrale rispetto all’hardware.

Nel confronto riportato, la versione QUASAR pesa meno di unsloth (23,4 GB) e Inferact (26,4 GB) ma ottiene punteggi superiori: 0,9091 contro 0,8939 e 0,8763 su GPQA-Diamond, e 1,0000 contro 0,9778 e 0,9667 su AIME26. È il dettaglio più interessante: il checkpoint più compatto supera alternative più pesanti. Suggerisce che la distillation consapevole della quantization, non la sola compressione post-training, sta diventando il vero differenziale per chi porta LLM in produzione locale.

Il messaggio per chi progetta infrastrutture on-premise non è che il W4A4 sia gratis. È che il costo della precisione si sposta dal singolo operatore al processo di addestramento: se il modello insegnante guida bene la quantization, l’inference può scendere sotto i 20 GB mantenendo capacità di ragionamento quasi invariate. La differenza tra 19,7 e 26,4 GB non è solo memoria: è un indicatore di quanto la formazione consapevole possa ridefinire il trade-off tra costo hardware e qualità.