«Mi mancano i tempi in cui questo subreddit parlava davvero di self-hosting.» La confessione amara di un utente che si firma Mountain_Patience231 sta facendo il giro tra gli appassionati di LLM locali. Il suo sfogo prende di mira l’ultima ondata di modelli ‘open weight’ – citando esplicitamente GLM-5.2, un mostro da 753 miliardi di parametri, architettura Mixture of Experts, finestra di contesto da 1 milione di token e licenza MIT – che, sulla carta, rappresenta il sogno dell’intelligenza artificiale aperta. Peccato che, come ammette lo stesso utente, «nemmeno schiacciandolo con una quantization q1 o q2 si riesca a farlo girare» su hardware consumer.

Il paradosso è tutto qui. Da un lato, il mondo celebra la pubblicazione dei pesi: un gesto di trasparenza che dovrebbe democratizzare l’accesso alla tecnicia. Dall’altro, chiunque abbia provato a mettere in piedi un inference locale sa che un modello da oltre 700 miliardi di parametri – anche se tecnicamente sparse – esige un parco GPU con centinaia di gigabyte di VRAM, collegamenti NVLink o equivalenti, e un sistema di raffreddamento da datacenter. L’utente in questione non è un novellino: monta due GPU su una scheda madre con bifurcation x8/x8, usa AMD ROCm per spremere ogni goccia di prestazione, e conosce bene i trucchi di llama.cpp come il dimensionamento dei batch e la lotta con le quantizzazioni estreme. Eppure, anche con questo arsenale, il responso è impietoso: «fisicamente impossibile da caricare senza un rack aziendale».

Qui non si discute la bontà tecnica del modello. I benchmark, per quanto riportati di terza mano, sembrano strabilianti. La licenza MIT è un fiore all’occhiello che permetterebbe uso commerciale senza restrizioni. Ma la praticabilità locale è zero, e questo sposta il baricentro dell’ecosistema. Chi esulta per questi rilasci spesso non è chi fa self-hosting, ma chi può permettersi di chiamare un’API o affittare un’istanza cloud. Il risultato è che l’open weight diventa una forma di marketing che avvantaggia proprio quei fornitori di servizi centralizzati che l’open source dovrebbe idealmente contrastare.

Per chi si occupa di deployment on-premise in azienda – il target naturale di AI-RADAR – la vicenda solleva una domanda strutturale. Modelli di questa taglia non sono solo un problema per l’hobbista con il garage-lab, ma mettono in crisi anche il concetto di sovranità dei dati e controllo dell’infrastruttura. Se per eseguire localmente un LLM all’avanguardia serve un investimento in hardware che ricade nella categoria CapEx pesante (decine di migliaia di euro solo di GPU, più i costi energetici), il Total Cost of Ownership diventa insostenibile per molti use case. A quel punto, la scelta ricade inevitabilmente sul cloud, con tutte le implicazioni di privacy, residenza dei dati e dipendenza da un vendor che l’approccio on-prem mirava a scongiurare.

C’è chi dirà che la quantization prima o poi farà miracoli, o che le tecniche di offloading tra CPU e GPU colmeranno il gap. Ma quando parliamo di modelli oltre i 500 miliardi di parametri, il compromesso è talmente al ribasso da snaturare il modello stesso: una versione q1 di un MoE così grande è un fantasma di ciò che i ricercatori hanno addestrato, e perde gran parte della qualità che rendeva interessante il rilascio. In altre parole, la promessa di open weight rischia di diventare una scatola vuota se non accompagnata da un ecosistema di esecuzione realmente alla portata.

La frustrazione di chi, come l’utente citato, si sente «povero di VRAM» non è quindi soltanto un lamento da forum. È la spia di una tensione crescente: la corsa ai modelli sempre più grandi – e parzialmente aperti – sta allargando il fossato tra chi può permettersi di farli girare e chi vorrebbe usarli in autonomia. Mentre il dibattito si polarizza tra open e closed, la vera linea di faglia potrebbe diventare quella tra eseguibile e non eseguibile in locale.