L'efficienza degli LLM on-premise: Qwen 3.6 su Nvidia RTX A4000

L'adozione di Large Language Models (LLM) in ambienti aziendali solleva questioni cruciali legate alla sovranità dei dati, al controllo infrastrutturale e al Total Cost of Ownership (TCO). In questo contesto, l'approccio self-hosted emerge come una valida alternativa alle soluzioni cloud, specialmente quando si tratta di ottimizzare l'hardware esistente. Un recente caso d'uso ha dimostrato come sia possibile ottenere performance significative per l'inference di LLM su un'infrastruttura on-premise, sfruttando schede grafiche non di ultimissima generazione.

La configurazione adottata è eterogenea, incentrata su un server Lenovo ThinkStation P3 Tower Gen 2, originariamente destinato a cluster OpenShift/K8s. L'utente ha progressivamente integrato quattro GPU Nvidia RTX A4000, ciascuna dotata di 16GB di VRAM. Nonostante le RTX A4000 non rappresentino l'avanguardia tecnicica, la loro efficienza energetica (140W per scheda, poi limitata a 125W per ottimizzare la stabilità e le performance) e il requisito di un singolo slot PCIe per unità le rendono adatte a server con spazio limitato, offrendo un esempio concreto di come l'hardware legacy possa essere valorizzato per carichi di lavoro AI.

Dettagli tecnici e performance sul campo

Per l'esecuzione dei modelli, l'implementazione si è avvalsa di Llama.cpp, un framework Open Source noto per la sua efficienza nell'inference di LLM su diverse architetture hardware. Cruciale è stata l'abilitazione del Multi-GPU Tensor Parallelism (MTP) con l'opzione --spec-draft-n-max 4, che ha permesso di distribuire il carico di lavoro tra le quattro GPU. Il sistema operativo utilizzato è Fedora 43, con i driver CUDA necessari per l'accelerazione hardware.

Il modello principale testato è stato Qwen 3.6 27B Q8, una variante quantizzata (8-bit) del modello Qwen 3.6 con 27 miliardi di parametri, in formato GGUF. Le performance registrate sono state di circa 45 token al secondo per attività di ragionamento e circa 60 token al secondo per compiti di coding. Queste metriche sono state ottenute mantenendo il contesto completo e senza applicare quantization alla KV cache, indicando una buona capacità di gestione del carico di lavoro. L'utente ha anche sperimentato con Qwen 3.6 35B A3B Q8 MoE (Mixture of Experts), che ha raggiunto circa 80 token al secondo per il ragionamento e 90 token al secondo per il coding, sebbene con una configurazione --split-mode layer anziché tensor.

Implicazioni per il deployment on-premise e il TCO

Questo caso d'uso offre spunti significativi per le aziende che considerano il deployment on-premise di LLM. La scelta di hardware "obsoleto" come le RTX A4000, acquistate originariamente a circa 865 dollari l'una (oggi valutate tra 1.300 e 1.500 dollari sul mercato dell'usato/nuovo), dimostra come un investimento iniziale oculato possa tradursi in un TCO vantaggioso nel lungo termine. L'ottimizzazione del consumo energetico, limitando le schede a 125W, contribuisce ulteriormente a ridurre i costi operativi.

La capacità di riutilizzare e ottimizzare l'hardware esistente per carichi di lavoro AI è un fattore chiave per le organizzazioni che mirano a mantenere il controllo sui propri dati e a rispettare normative stringenti sulla privacy, come il GDPR, evitando la dipendenza da servizi cloud esterni. L'esperienza dell'utente, che si è sentito "redento" dopo aver inizialmente dubitato dell'investimento, sottolinea l'importanza di esplorare soluzioni locali e di fare pressione sul mercato per ottenere il massimo dall'hardware disponibile, anche quello meno recente.

Prospettive e trade-off nel panorama degli LLM locali

L'esperimento evidenzia i trade-off intrinseci tra performance, costo e qualità del modello. Sebbene il modello MoE Qwen 3.6 35B A3B Q8 abbia mostrato un throughput superiore in termini di token al secondo, l'utente ha notato che il Qwen 3.6 27B "dense" tendeva a produrre soluzioni di coding più accurate al primo tentativo. Questo suggerisce che la pura velocità di inference non è l'unico parametro da considerare; la qualità e l'affidabilità delle risposte del modello sono altrettanto cruciali, specialmente in contesti aziendali.

Per CTO, DevOps lead e architetti infrastrutturali che valutano alternative self-hosted vs cloud per carichi di lavoro AI/LLM, questo esempio rafforza l'idea che un'attenta pianificazione e ottimizzazione possono sbloccare un valore significativo dall'hardware on-premise. AI-RADAR offre framework analitici su /llm-onpremise per valutare i trade-off tra diverse architetture e strategie di deployment, aiutando a prendere decisioni informate che bilancino performance, TCO e requisiti di sovranità dei dati.