Molti metodi di quantization low-bit per LLM hanno un difetto che i benchmark di sola accuracy non raccontano: riducono la precisione di calcolo, ma introducono overhead di esecuzione che erode il vantaggio cercato. PRQuant parte da questo punto. Il framework, che non richiede training, combina una riorganizzazione dei canali di ingresso con una compensazione residua statica sul lato dei pesi. Dopo una scalatura in stile AWQ, identifica i canali che contribuiscono maggiormente all'errore di quantization, li sposta in blocchi contigui di coda e costruisce offline i relativi sub-tensori residui dei pesi. Durante l'inference, la contiguità consente di usare quei blocchi senza un'operazione di raccolta dinamica online: la compensazione, altrimenti sparsa, diventa una GEMM regolare con coda aggiunta.

Il punto centrale non è il singolo guadagno numerico, ma la separazione tra precisione numerica e costo di esecuzione. I metodi residui online spargono le correzioni in punti difficili da raggiungere; PRQuant le prepara offline e le allinea in memoria. In un contesto on-premise, dove l'hardware è dato e la latenza per token è un vincolo operativo, questa regolarità ha un valore che i benchmark di accuracy non colgono. Spostare il lavoro nella fase offline riduce la varianza del runtime e avvicina la quantization aggressiva a un'esecuzione più prevedibile.

Gli studi di ablazione separano i due effetti: lo smoothing e la compensazione residua sono i driver numerici principali; la permutazione aggiunge un beneficio numerico marginale ma elimina l'overhead di raccolta dinamica. Questa distinzione è strutturale. Un componente apparentemente secondario può essere decisivo per rendere l'algoritmo eseguibile su hardware reale. È una lezione per chi progetta metodi di compressione per LLM: il layout di memoria e gli accessi ai dati vanno trattati come parte dell'ottimizzazione, non come dettaglio postumo.

PRQuant riduce anche l'errore di ricostruzione delle down-projection, un elemento che in diverse architetture transformer può pesare in modo specifico. I risultati su Qwen3-4B-Instruct-2507 e Qwen3-30B-A3B-Instruct-2507 mostrano miglioramenti rispetto a MXFP4 di 1,24 e 0,55 punti in accuratezza media su cinque benchmark downstream, con un confronto già legato a rappresentazioni a bit ridotti. Non sono salti enormi, ma il vantaggio va letto insieme all'overhead ridotto: la precisione è necessaria ma non sufficiente per l'adozione reale.

Per chi esegue LLM in self-hosted, la quantization low-bit è spesso il modo per far stare modelli in VRAM contenuta. Se il metodo aggiunge operazioni irregolari, però, il costo in latenza può erodere i benefici. PRQuant ribalta la sequenza: costruisce i residui offline e lascia al runtime un percorso più regolare. Questo approccio si inserisce in una tendenza più ampia a spingere la complessità fuori dal servizio e a preparare l'esecuzione prima dell'inference. Ne beneficiano i team che devono garantire latenze prevedibili su server propri, anche in scenari con vincoli di sovranità dei dati in cui il cloud non è una via praticabile. Per chi valuta deployment on-premise, i trade-off restano centrali: AI-RADAR dedica a questi temi framework analitici su /llm-onpremise.

Il nodo aperto è quanto una struttura a blocchi contigui si adatti a architetture diverse da quelle GEMM-centriche. Ma il principio è chiaro: allineare precisione e accesso ai dati sta diventando parte del progetto di quantization, non un problema accessorio.