Un server EPYC con dodici schede da 64 GB di VRAM, 256 GB di RAM e un investimento di 18.000 euro. Fino a poco tempo fa sarebbe stata la configurazione invidiabile per chi voleva eseguire i modelli open source più capaci in locale, lontano dai vincoli del cloud. Oggi il proprietario di quella macchina si chiede se è rimasto con un hardware che i modelli di frontiera stanno già superando.

La sua esperienza parte da un dato concreto: per i modelli più capaci oggi disponibili con pesi aperti, GLM 5.3 sembra l'unica opzione davvero compatibile con 768 GB di VRAM. Ma l'arrivo di Astra, sempre secondo il racconto, rischia di renderlo rapidamente superato. E il prossimo GLM 6, secondo le attese richiamate nella fonte, potrebbe avere dimensioni doppie o addirittura triple. Qwen-max e Kimmi sono già fuori portata. Pure DeepSeek V4 Pro è troppo grande per quella macchina.

Il vincolo dichiarato è la quantization a 4 bit. Scendere sotto quella soglia, spiega l'autore, introduce errori evidenti. Questo fissare un livello minimo di qualità trasforma il problema da semplice disponibilità di memoria a una questione di utilità reale: una macchina che può caricare un modello solo con quantization troppo aggressiva non serve agli scopi per cui è stata pensata. Se GLM 6 dovesse davvero superare i due trilioni di parametri, la sola gestione dei pesi a 4 bit, unita agli overhead di esecuzione, mette a dura prova i 768 GB disponibili. Il punto non è che il server non funzioni, ma che smette di essere una piattaforma per modelli di frontiera e diventa una macchina per modelli flash.

Qui emerge la frattura strutturale. I modelli open source di frontiera stanno migrando verso scale che presuppongono cluster multi-nodo, alimentazione e raffreddamento da data center, non un singolo server EPYC. L'utente in questione non è un'azienda: voleva usare questa infrastruttura per avviare un'attività. Ma se anche le piccole organizzazioni incontrano lo stesso muro, la promessa del self-hosted come alternativa al cloud perde terreno proprio sul terreno del controllo dei dati e della sovranità. Chi vince sono i fornitori di hardware per data center e i cloud provider, che possono aggregare la domanda e ammortizzare macchine che il singolo acquirente non può giustificare. Chi perde è la coda lunga di operatori e hobbisti che avevano investito in macchine ad alta densità di VRAM, ora esposte a un deprezzamento tecnicico accelerato.

La possibile uscita indicata dallo stesso autore è vendere le GPU in eccesso e ripiegare su modelli flash con costi più contenuti. Non è necessariamente una resa: per molte attività, un modello più piccolo e ben integrato può avvicinarsi ai risultati dei modelli più grandi, ma richiede più lavoro di valutazione, integrazione e raffinamento. Il costo si sposta dall'hardware all'ingegneria. Per chi deve scegliere tra hardware locale e compromessi dei modelli più piccoli, i trade-off dipendono dal carico di lavoro, dai vincoli di privacy e dall'orizzonte di ammortamento. AI-RADAR offre framework analitici su /llm-onpremise per aiutare a valutare questi aspetti, non risposte preconfezionate.

La domanda che questa vicenda lascia aperta non riguarda solo il singolo costruttore. Ha senso investire in una macchina self-hosted se la prossima generazione di modelli può renderla obsoleta? Il mercato dei modelli open source si sta muovendo più velocemente dell'hardware che dovrebbe eseguirli.