La notizia arriva da un homelab, non da un vendor. Un utente ha documentato una configurazione minimale per eseguire un LLM da 27 miliardi di parametri con 262.000 token di contesto: una singola Radeon RX 9060 XT da 16 GB di VRAM e 24 GB di RAM DDR5, di cui 16 GB usati per il modello. I numeri riportati parlano di 42,7 token/s in generazione e 658 token/s in prefill con 20.000 token di contesto; a 200.000 token i valori scendono a 35 e 500 token/s. La configurazione combina quantization IQ4_XS condensed, streaming della cache KV, valori della cache KV a 4 bit e chiavi a 8 bit, più predizione MTP+ ngram.

La tesi implicita è forte: il costo d'ingresso per LLM self-hosted ad alto contesto non si misura più soltanto nel numero di GPU, ma nella capacità di gestire il compromesso tra memoria, precisione e throughput. Le build multi-GPU ad alta VRAM restano una via, ma il dato di questo homelab sposta l'attenzione sul software. La compressione dei pesi e lo streaming della cache KV riducono il fabbisogno di memoria senza richiedere quattro schede top di gamma. È una differenza strutturale perché cambia gli incentivi: chi cerca un deployment on-premise non deve partire dall'assunto di dover investire in un server multi-GPU, ma può valutare hardware consumer se accetta una pipeline di ottimizzazione più artigianale.

Il dettaglio meno visibile è quello più rilevante per chi valuta il TCO. L'utente ha dovuto usare un fork di llama.cpp e correggere via SSH i bug legati alle PCIe atomics mancanti, con l'aiuto di un bot. Questo non è incidentale: segnala che il supporto per GPU consumer negli stack locali è ancora frammentario. Il risparmio sull'hardware può tradursi in maggiore lavoro di integrazione, debugging e manutenzione. Chi vince sono i team piccoli, i laboratori e le organizzazioni con vincoli di sovranità dei dati che possono mantenere i modelli on-site senza acceleratori enterprise. Chi perde è la narrazione vendor secondo cui il contesto lungo e i modelli da decine di miliardi di parametri richiedano per forza schede datacenter o cluster costosi.

La terza implicazione riguarda l'ecosistema dei runtime. Se modelli da 27B e contesti da 262k token diventano eseguibili su singola GPU consumer, cresce la pressione sui framework perché documentino e stabilizzino configurazioni che oggi vivono nei fork. La distanza tra demo funzionante e supporto production-grade resta il vero costo nascosto di questa corsa al low-end.

Non è una soluzione universale. Il throughput in generazione non è paragonabile a quello di un sistema con più VRAM dedicata e, a contesti molto ampi, il calo è marcato. Ma il punto non è la velocità assoluta: è la dimostrazione che il confine tra fattibile e non fattibile si è spostato. Per chi segue il deployment on-premise, AI-RADAR dispone di framework analitici su /llm-onpremise per valutare trade-off di questo tipo, senza scorciatoie.