Un recente studio ha valutato l'impatto della quantization sulla capacità di gestione degli utenti del modello linguistico Qwen3-32B. I risultati indicano che l'utilizzo della quantization a INT4 permette di servire un numero di utenti 12 volte superiore rispetto all'utilizzo del formato BF16, con una minima riduzione dell'accuratezza (1.9%).

Dettagli del Benchmark

Il benchmark è stato condotto utilizzando una GPU H100, confrontando le performance del modello Qwen3-32B con diverse precisioni: BF16, FP8, INT8 e INT4. Sono state utilizzate oltre 12.000 domande MMLU-Pro e sono state eseguite 2.000 inferenze per valutare l'accuratezza e la capacità di gestione degli utenti.

Risultati

I risultati mostrano un incremento significativo della capacità utente passando da BF16 a INT4. In particolare, si è passati da una capacità di 4 utenti simultanei (con BF16) a 47 utenti (con INT4) con un context window di 4k. Questo incremento è direttamente correlato al risparmio di memoria ottenuto tramite la quantization.

Per chi valuta deployment on-premise, esistono trade-off da considerare tra accuratezza e risorse computazionali. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.