Un post su Reddit ha riacceso il dibattito sulle configurazioni hardware per l’AI locale: vendere una GPU di punta per acquistare più schede di fascia media e ottenere un vantaggio in termini di memoria video. L’idea è passare da una singola RTX 5090 a cinque RTX 5060 Ti con 16 GB ciascuna, montate su cavi riser PCIe 4.0 x16 in un rig aperto. Dietro l’operazione c’è un ragionamento che molti appassionati e professionisti dell’on-premise conoscono bene: la VRAM totale è spesso il collo di bottiglia per caricare Large Language Models ed eseguire inference senza ricorrere a cloud esterni.

Il nodo della VRAM: quantità contro velocità

La RTX 5090, allo stato attuale delle indiscrezioni, dovrebbe offrire una quantità di memoria significativa ma ancora limitata rispetto a configurazioni multi-GPU. Con cinque 5060 Ti da 16 GB si raggiungono 80 GB di VRAM complessiva, un valore che permette di ospitare modelli quantizzati di grandi dimensioni o di mantenere tutto il contesto in memoria durante il fine-tuning di LLM. Tuttavia, ogni 5060 Ti ha un bus di memoria ridotto e una bandwidth nettamente inferiore rispetto a una 5090. La velocità di scambio dati tra chip e memoria è cruciale sia in training che in inference batch: un sistema a cinque schede rischia di creare colli di bottiglia se i dati non vengono distribuiti in modo efficiente.

La sfida dei cavi riser e delle corsie PCIe

Usare cavi riser PCIe 4.0 x16 consente di allontanare le GPU dal mainboard e migliorare il raffreddamento, ma introduce latenza e potenziali problemi di segnale. In configurazioni multi-GPU per AI, le comunicazioni inter-scheda avvengono spesso attraverso la CPU o con bridge dedicati. Su un impianto fai-da-te senza NVLink o Infinity Fabric, la larghezza di banda effettiva può essere limitata dalla mobo e dal chipset. Se l’obiettivo è caricare un LLM suddiviso tra le GPU con pipeline parallelism, la connessione PCIe diventa un fattore determinante per il throughput, ancora più della potenza grezza dei singoli core CUDA.

Implicazioni per il deployment on-premise

Chi valuta una soluzione del genere sta, di fatto, facendo un’analisi di Total Cost of Ownership. Rinunciare alla 5090 permette di ridurre il CapEx immediato e di ottenere più VRAM per l’inference locale, ma il consumo energetico, lo spazio fisico e la complessità di gestione crescono. In un contesto aziendale o di laboratorio, questi trade-off vanno pesati con attenzione: per chi lavora su modelli open source e richiede sovranità dei dati, un parco schede medio può essere più flessibile di una singola ammiraglia, a patto di sopportare latenze più alte nell’elaborazione parallela.

Un sintomo della direzione del mercato

L’episodio, per quanto isolato, segnala un orientamento più ampio: la fame di VRAM spinge sempre più utenti professionali a cercare configurazioni multi-GPU anche senza hardware enterprise. La moltiplicazione delle schede consumer con 16 GB o più sta democratizzando l’accesso a workload che un tempo richiedevano workstation da decine di migliaia di euro. La domanda “è una buona idea?” non ha una risposta univoca, ma è la spia di un ecosistema in rapida evoluzione, dove il fai-da-te diventa una palestra per capire i limiti reali del self-hosted, prima di investire in soluzioni più strutturate. Per chi guarda al deployment on-premise, resta cruciale confrontare le variabili su modelli analitici come quelli discussi su /llm-onpremise, senza fermarsi alla somma dei gigabyte.