Quarantotto centesimi di dollaro al giorno. È quanto costa, nel caso peggiore, far funzionare un intero sistema basato su AMD Strix Halo per inference LLM 24 ore su 24, con CPU, GPU e NPU sotto carico simultaneo per eseguire più modelli e compilazioni. La cifra, condivisa su Reddit da un utente, ribalta una narrazione consolidata: quella secondo cui le soluzioni consumer per il self-hosting sarebbero sempre inadeguate perché troppo lente.

L’utente descrive un setup con un modello Qwen da 35 miliardi di parametri, quantizzato Q8_XL, che raggiunge 50 token al secondo. Non è un dato da record se confrontato con una NVIDIA A6000 o altre schede enterprise. Ma è il contesto a fare la differenza: il dispositivo ha le dimensioni di un piccolo router, rimane silenzioso e assorbe meno della metà della potenza di una singola A6000 (300W solo per la scheda). Il sistema Strix Halo, APU con grafica integrata e NPU, contiene l’intero budget energetico ben sotto i 150W. E quando l’inference non satura le risorse, CPU e NPU restano disponibili per altri servizi, trasformando una macchina pensata per lo sviluppo in un nodo versatile per workload on-premise.

La discussione tocca un nervo scoperto per chi valuta il self-hosting di Large Language Models. Le metriche abituali – VRAM, bandwidth di memoria, throughput puro – raccontano solo una parte della storia. A parità di costo operativo, un sistema capace di funzionare h24 con un’impronta termica e acustica minima apre scenari concreti per uffici, laboratori e ambienti edge dove la sovranità dei dati e la continuità operativa contano più della latenza da cloud. Non si tratta di sostituire le GPU discrete nei data center, ma di ridefinire la scala del “sufficiente”: 50 token al secondo possono bastare per riassumere documenti, interrogare knowledge base aziendali o prototipare agenti senza inviare una singola richiesta a server esterni.

Il paragone con i Mac citato nel post non è casuale. L’ecosistema Apple ha dimostrato che un’architettura unificata, con memoria veloce e acceleratori dedicati, può eseguire modelli di grandi dimensioni a livelli di efficienza irraggiungibili per una GPU discreta a parità di consumo. Strix Halo porta questa filosofia su piattaforma x86, integrando una NPU che AMD posiziona per carichi fino a 50 TOPS e una GPU con bandwidth di memoria potenzialmente nell’ordine dei 500 GB/s (simulazioni basate su modelli simili). L’aspetto chiave è la possibilità di utilizzare la quantization spinta senza degrado inaccettabile delle prestazioni, come dimostra il Q8_XL segnalato dall’utente.

Per chi progetta deployment on-premise, il messaggio è chiaro: il costo totale di possesso non si misura solo in dollari per token. I fattori energetici, la dissipazione del calore, l’ingombro fisico e la possibilità di riutilizzare i cicli di calcolo in eccesso diventano voci determinanti quando il sistema è destinato a restare acceso sempre. La cifra di 0,48 dollari al giorno, pur calcolata su una tariffa elettrica non specificata, è un’indicazione concreta: con un carico di lavoro misto e continuo, il consumo energetico può scendere sotto la soglia di attenzione, rendendo l’inference locale non solo praticabile ma economicamente giustificabile anche in contesti non enterprise.

Certo, rimangono limiti. Un modello da 35 miliardi con quantization aggressiva non può competere in accuratezza con versioni più grandi e meno compresse. E 50 token al secondo non bastano per applicazioni interattive a bassa latenza con molti utenti. Ma il punto non è vincere la gara della velocità. È dimostrare che il self-hosting di LLM sta uscendo dalla fase sperimentale, entrando in una dimensione dove l’efficienza complessiva del sistema – non la sola potenza bruta della GPU – guida le scelte architetturali.