Passare da 9 a 48 token al secondo sulla stessa GPU da 8 GB è il tipo di salto che fa ricredere chi considera l'inference locale solo un esercizio di pazienza. La segnalazione arriva da un utente che ha messo alla prova Qwen 3.8 Flash Next con quantization a 3 bit tramite Unsloth; il cambio di marcia è arrivato adottando STRATA su CachyOS, una distribuzione Linux con i driver NVIDIA pronti all'uso, senza la solita trafila manuale. Il risultato medio si attesta intorno ai 30 token/s, con picchi fino a 48 token/s: numeri più che sufficienti per un uso interattivo, anche se il paragone con Claude va preso come percezione d'uso e non come benchmark.

Il limite, però, non è la velocità. Con 8 GB di VRAM il contesto a 32k token funziona, ma spingersi oltre diventa una questione di megabyte. L'utente è riuscito a caricare 42k token restando a circa 130 MB dal crash; i 64k sperati non entrano. È un vincolo strutturale: in inference il contesto occupa memoria per la cache chiave-valore, e ogni token in più sottrae spazio al modello e ai buffer di calcolo. Il fatto che 32k siano stabili e 42k siano il tetto pratico mostra come la finestra di contesto dichiarata non coincida quasi mai con quella utilizzabile su hardware consumer.

La vicenda segnala due cose. Primo, il software conta quanto l'hardware: stesso modello e stessa GPU passano da prestazioni modeste a medie elevate solo cambiando sistema e usando driver già pronti. Secondo, la corsa ai modelli più grandi nasconde il vero collo di bottiglia dei deployment locali: la memoria disponibile per il contesto, non il numero di parametri. Per chi valuta soluzioni self-hosted, il trade-off diventa quindi tra velocità di generazione, qualità percepita e ampiezza del contesto. Le GPU consumer da 8 GB possono reggere modelli con quantization aggressiva e prestazioni interessanti, ma restano lontane dai contesti lunghi che molti flussi aziendali richiedono. Questa tensione spiega perché l'inference on-premise su hardware compatto venga usata per task mirati, mentre i carichi con documenti estesi o memoria persistente continuano a gravitare verso macchine con più VRAM o verso il cloud. Non è una questione di fedeltà al software libero: è una questione di byte.