6.250 token al secondo su una RTX 5090 da 32 GB. È il dato che accompagna il nuovo GGUF NVFP4 per Qwen3.8 27B segnalato su Reddit e presentato come il quantizzato NVFP4 più veloce in circolazione per quel modello. Il benchmark si concentra sul prefill con prompt da 2048 token: la versione NVFP4 registra 6.250 token/s, contro i 4.130 token/s di un Q4_0 con lo stesso ingombro di memoria e i 3.210 token/s di un Q6_K. Rispetto a un altro quantizzato NVFP4, il poster indica un vantaggio tra il 4 e il 7%.

Il confronto con Q4_0 merita attenzione per un motivo preciso: i due formati occupano la stessa quantità di VRAM, ma il NVFP4 sfrutta i tensor core Blackwell in modo più diretto, almeno sull'hardware compatibile. Q4_0 è un formato intero tradizionale del mondo GGUF; NVFP4 è un formato in virgola mobile a 4 bit pensato per Blackwell. La differenza del 50% non deriva quindi da una compressione più spinta, ma da un uso diverso del silicio. Per chi serve LLM su una singola GPU, il prefill è la fase che determina la latenza iniziale e la capacità di elaborare prompt lunghi o più richieste in coda: un guadagno del 50% su questa fase ha più valore di un analogo incremento nella generazione, che resta più legata alla larghezza di banda della memoria.

Il GGUF include anche una testa MTP quantizzata. La Multi-Token Prediction, usata come testa di bozza per la decodifica speculativa, accelera la generazione accettando più token in parallelo. Averla nello stesso file semplifica il deployment locale: non serve gestire un modello di bozza separato. Il poster segnala impostazioni specifiche per ottenere fino al 15% di velocità in più sulla MTP, un dettaglio pratico quando l'obiettivo è ridurre la latenza percepita.

Questa storia segnala qualcosa di più ampio. Dopo anni in cui le quantizzazioni GGUF si sono mosse verso una relativa portabilità, NVFP4 reintroduce una dipendenza hardware. Il vantaggio misurato esiste solo su hardware compatibile; su GPU non Blackwell il confronto con Q4_0 non regge. Per chi costruisce stack self-hosted su hardware eterogeneo, è una tensione nuova: da un lato, formati nativi come NVFP4 promettono picchi più alti senza aumentare la VRAM; dall'altro, frammentano l'ecosistema tra chi possiede l'ultima generazione di GPU e chi no. Non è una questione astratta per chi valuta il TCO di un parco macchine on-premise: un formato hardware-specifico può accorciare la vita utile di un'infrastruttura o spingere verso acquisti più frequenti, anche quando i numeri di throughput sembrano giustificarli. Per chi valuta deployment on-premise, AI-RADAR offre su /llm-onpremise framework analitici per soppesare proprio questi trade-off tra prestazioni di picco e portabilità.

Il dato resta legato a un benchmark su RTX 5090 32 GB e a un post di un utente, quindi va letto come segnale di direzione più che come garanzia. Ma la direzione è chiara: la compressione sta tornando a dialogare con il silicio in modo più stretto, e chi gestisce modelli localmente dovrà considerare non solo i token/s, ma anche la compatibilità del formato con il parco GPU che possiede.