Per chi possiede una singola scheda AMD Radeon R9700, i numeri appena pubblicati cambiano il calcolo sulla fattibilità dell'inference locale. Il progetto radiance-vllm-mxfp4 ha aggiornato i repository, e le misure parlano di un raddoppio delle prestazioni ottenuto con ottimizzazioni software sul singolo slot.

Il benchmark di riferimento usa il modello Qwen3.8 27B in formato NVFP4 preparato da Unsloth. I numeri mostrano una scheda consumer che non è più una soluzione di ripiego: nel decode, i carichi strutturati raggiungono 153,1 token/s su output JSON, 141,7 su summarization, 138,0 su file editing e 120,5 su codice. Chat e prosa restano più conservative, sotto i 70 token/s, un divario che riflette la diversa distribuzione dei token generati. La latenza mediana di update si attesta attorno ai 42 millisecondi per chat e scende a circa 34 millisecondi per summarization e reasoning.

Il prefill mantiene un ritmo superiore ai 3.500 token/s fino a 16.000 token di contesto, con un picco di 3.619 token/s; anche a 64.000 token resta sopra i 3.100. Con richieste concorrenti, il throughput aggregato scala da 120 token/s con un singolo stream a 471 token/s con otto richieste.

La lettura meno superficiale non riguarda il picco massimo, ma il cambio di paradigma. NVFP4 è un formato a 4 bit che riduce l'ingombro dei pesi e la banda di memoria richiesta; i kernel MXFP4 integrati nel fork di vLLM sfruttano questa compressione senza far collassare la qualità. Su una scheda singola, questo significa che il collo di bottiglia si sposta dal silicio alla qualità del software. In passato la risposta automatica alle esigenze di serving locale era una configurazione multi-GPU o un'API cloud; oggi un singolo slot, con il runtime giusto, regge un modello da 27 miliardi di parametri quantizzato.

La conseguenza di secondo ordine è economica e organizzativa. Un laboratorio che lavora su codice proprietario, uno studio legale con vincoli di riservatezza o un team IT con obblighi di residenza del dato può valutare un parco macchine più contenuto. I costi iniziali scendono, ma si spostano: la complessità non sta nell'acquisto dell'hardware, bensì nella gestione di pipeline di quantization, aggiornamenti del runtime e monitoraggio delle latenze. Chi invece offriva il self-hosting come pura vendita di scatole multi-GPU deve fare i conti con un'alternativa più economica che non sacrifica necessariamente i token/s.

Il dato strutturale è il progressivo allargamento dell'ecosistema AMD nell'inference locale. Le ottimizzazioni su misura per formati a 4 bit riducono il vantaggio competitivo legato esclusivamente all'hardware NVIDIA. Questo non azzera le differenze di memoria e di compatibilità, ma sposta il confronto sul terreno dei framework e dei runtime. Per chi pianifica infrastrutture on-premise, il TCO non può più essere calcolato guardando solo alla scheda: include la maturità dello stack di serving, la disponibilità di kernel specializzati e la capacità di aggiornare i modelli senza rifare l'infrastruttura.

Per chi valuta deployment on-premise, esistono trade-off tra costo hardware, complessità operativa e controllo dei dati; AI-RADAR dedica uno spazio su /llm-onpremise a questo tipo di analisi.

La prossima domanda non è se una singola Radeon R9700 possa reggere carichi reali, ma quanto lontano si possa spingere lo stesso approccio con modelli più grandi e finestre di contesto più ampie. La release, per ora, rende concreta una possibilità che fino a poco tempo fa sembrava limitata ai laboratori.