Quando un utente su Reddit ha raccontato di aver comprato una NVIDIA RTX 5090 per eseguire modelli da 27 miliardi di parametri in locale, l’obiettivo era chiaro: liberarsi dalle API cloud e dai costi ricorrenti. È partito con un fine-tuning LoRA sui propri dati, qualche RAG e una finestra di contesto da 130mila token compressa in Q8 quantizzata. I risultati lo soddisfacevano, ma la memoria video già scricchiolava.

Così sono arrivate due RTX 6000 Pro, schede professionali da 48 GB l’una, per un totale di 96 GB di VRAM. Nel frattempo, i modelli da 100 miliardi di parametri in su cominciavano a fioccare, rendendo anche quella dotazione insufficiente. L’idea di un cluster da 512 GB sembrava l’unica via.

Poi la svolta: la maggior parte dei compiti reali — quelli per cui aveva comprato la prima GPU — girava perfettamente su una sola 5090. Il resto era potenza inutilizzata, tanto che ha iniziato a prestare le schede in eccesso agli amici.

Questa vicenda personale è lo specchio di una tensione che attraversa l’intero ecosistema dell’AI on-premise. Da un lato, la corsa ai modelli sempre più grandi — spinta dai laboratori e dal marketing — alimenta un senso di inadeguatezza per chi gestisce infrastrutture locali. Dall’altro, la realtà quotidiana di sviluppatori, ricercatori e piccole imprese mostra che modelli da 7-30 miliardi di parametri, ottimizzati con quantization e contesto esteso, coprono la stragrande maggioranza degli use case.

Il costo dell’hardware racconta una storia simile. Una scheda consumer di fascia alta costa qualche migliaio di euro, mentre due GPU professionali superano facilmente i 10.000 euro. Se poi si aggiungono alimentazione, raffreddamento e spazio fisico, il mini datacenter diventa un investimento che richiede un carico di lavoro sostenuto per essere ammortizzato. Eppure, l’over-provisioning è una tentazione costante: la paura di restare indietro rispetto all’ultima release di un modello open weight spinge a comprare più VRAM di quanta ne serva realmente.

La scelta di prestare il calcolo in eccesso agli amici segnala una dinamica interessante: emerge una micro-economia di condivisione delle risorse che replica, su scala ridotta e con il controllo totale dei dati, la logica dei servizi cloud. Non è un caso che il mercato dell’usato per GPU AI sia in piena espansione e che inizino a nascere piattaforme di lending peer-to-peer.

Per chi valuta di costruire il proprio stack on-premise, definire il reale fabbisogno computazionale è il passo più critico — e spesso il più trascurato. La tentazione di sovradimensionare per timore di non reggere il passo può trasformare un progetto economicamente sostenibile in un investimento sproporzionato. AI-RADAR mette a disposizione framework analitici per mappare questi trade-off, aiutando a calibrare l’infrastruttura sulle esigenze effettive anziché sull’hype.

La prossima volta che qualcuno vi dice che per fare inference locale servono centinaia di gigabyte di VRAM, forse vale la pena chiedersi: cosa devo farci davvero? La risposta potrebbe essere molto più modesta — e molto più intelligente — del previsto.