Un utente su Reddit ha condiviso la propria esperienza nella costruzione di una workstation locale per LLM (Large Language Model) dotata di 6 GPU, per un totale di circa 200GB di VRAM. La configurazione include una piattaforma Threadripper PRO, 256GB di RAM ECC, storage NVMe Gen4 e Gen5, e un'alimentazione ridondata.

Configurazione e Obiettivi

L'obiettivo principale è eseguire modelli di ragionamento di grandi dimensioni per l'analisi di dati interni e l'automazione dei flussi di lavoro. L'utente sta sperimentando l'esecuzione concorrente di più modelli e diverse strategie di assegnazione delle GPU. Il sistema operativo utilizzato è Ubuntu 24.04.

Sfide e Domande

L'utente chiede alla comunità quali siano i principali colli di bottiglia in configurazioni simili (VRAM, bandwidth PCIe, orchestrazione della CPU, bandwidth della memoria), se l'utilizzo di GPU diverse possa creare problemi a lungo termine e come gestire lo scheduling dei modelli tra le GPU (pinning statico vs. routing dinamico). Un'altra domanda riguarda la convenienza di consolidare il sistema in un numero inferiore di GPU con maggiore VRAM, rispetto a una configurazione distribuita multi-card.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per supportare queste valutazioni.