Il conto, alla fine, non si fa sull'ora di GPU ma sul token prodotto. Il test pubblicato su books.vizuara.ai e discusso su r/LocalLLaMA parte da una configurazione aggressiva: otto GPU B300 su Modal, vLLM con tensor parallel 8 e quantization nativa MXFP4 per un modello da 2,8 trilioni di parametri. Il sistema raggiunge 92 token al secondo in decode stabile, 83 token al secondo in media su quattro prompt, con un TTFT compreso tra 0,92 e 1,02 secondi. Il costo del noleggio è di circa 56,79 dollari all'ora, che si traduce in 190 dollari per milione di token di output. Una singola esecuzione pulita richiede circa 36 dollari di tempo GPU; lasciando il sistema caldo, il costo giornaliero sale a 1.363 dollari.

Il confronto con la variante economica è il dato che ribalta l'interpretazione abituale. Lo stesso autore ha eseguito il modello con Unsloth Dynamic GGUF a 1 bit, un file da 594 GB che gira su otto A100-80GB con llama.cpp. Il noleggio scende a 19,99 dollari all'ora, 2,8 volte meno rispetto ai B300. Ma la decode crolla a circa 9 token al secondo, il TTFT oscilla tra 7 e 60 secondi e il costo per token sale a circa 620 dollari per milione: 3,3 volte più caro. In altre parole, la GPU più economica all'ora è la più costosa quando si paga per risultato.

Questo paradosso è il cuore tecnico della notizia. Il throughput di token, non il listino orario, determina il costo unitario dell'inference. La quantization estrema a 1 bit permette al modello di entrare nella VRAM delle A100, ma non aggiunge né banda di memoria né capacità di calcolo. La lentezza della decode e le latenze iniziali lunghe rendono la configurazione adatta al più a carichi batch o non interattivi, non a un servizio con requisiti di latenza. La qualità delle risposte, scrive chi ha eseguito il test, resta accettabile per aritmetica e prosa coerente, ma non compensa il conto finale.

Per chi valuta deployment on-premise o self-hosted, il test aggiunge un vincolo operativo spesso sottovalutato. Il cold boot sulla configurazione B300 richiede circa 27 minuti, con 1,56 TB di caricamento, compilazione JIT e 51 acquisizioni di grafi CUDA. Non è un dettaglio da laboratorio: un sistema spento paga quel tempo prima di produrre il primo token; un sistema caldo costa 1.363 dollari al giorno anche durante i periodi senza richieste. Questo sposta il calcolo del TCO verso il costo di mantenimento e la finestra di servizio, non solo verso il prezzo di acquisto dell'hardware. Il supporto nativo MXFP4 sui B300 segnala che la nuova generazione di acceleratori è progettata per ridurre la pressione sulla memoria mantenendo throughput elevati, mentre le A100, pur essendo in grado di caricare un modello compresso, mostrano i limiti della sola riduzione del footprint.

Il framework che emerge non è una conferma che servano otto B300 per ogni LLM. È la prova che l'economia dell'inference va misurata in token per dollaro e in latenza, non in ore di GPU. Chi confronta infrastrutture per modelli locali dovrebbe diffidare dei prezzi orari apparentemente convenienti e chiedersi quale throughput e quale TTFT siano compatibili con il proprio caso d'uso. Per chi valuta questi scenari, AI-RADAR raccoglie framework analitici su /llm-onpremise per confrontare trade-off tra costi orari, latenza e sovranità dei dati.