Introduzione: LLM on-premise e le sfide hardware

Il deployment di Large Language Models (LLM) in ambienti on-premise rappresenta una priorità strategica per molte aziende, spinta dalla necessità di garantire la sovranità dei dati, rispettare stringenti requisiti di compliance e ottimizzare il Total Cost of Ownership (TCO). Tuttavia, l'implementazione locale di questi modelli, specialmente quelli di grandi dimensioni, pone sfide significative in termini di requisiti hardware, in particolare per quanto riguarda la memoria video (VRAM) delle GPU.

In questo contesto, l'analisi di configurazioni hardware non standard e delle loro prestazioni effettive diventa cruciale. Un recente test ha esplorato le capacità del modello Qwen3.6 27B su un setup locale, fornendo dati preziosi per i decision-maker che valutano alternative self-hosted rispetto alle soluzioni cloud. L'obiettivo è comprendere se hardware di fascia media, come le schede NVIDIA RTX 5060 Ti da 16GB, possa sostenere carichi di lavoro LLM complessi.

Dettagli della configurazione e performance

La configurazione utilizzata per i test si basava su due GPU NVIDIA RTX 5060 Ti, ciascuna dotata di 16GB di VRAM, per un totale di 32GB di memoria video disponibile. L'ambiente di esecuzione era un container Proxmox LXC, supportato da 16 vCPU e circa 60GB di RAM di sistema. Sul fronte software, il sistema impiegava CUDA 13 e Torch 2.11 (versione nightly), con vLLM (versione nightly 0.19.2rc1.dev) come framework di serving per il modello Qwen3.6 27B, nella sua variante sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP che include ottimizzazioni di Quantization.

Le prestazioni registrate sono state significative per la categoria hardware. Con un contesto di 8.000 token e speculative-config MTP n=1, il sistema ha raggiunto circa 50-52 token al secondo. L'attivazione di MTP n=3 ha migliorato il throughput a 62-66 token al secondo. Anche con un contesto più ampio di 32.000 token, le prestazioni si sono mantenute stabili tra 59 e 66 token al secondo. È stato inoltre verificato il funzionamento con un contesto esteso fino a 204.800 token, sebbene con margini di VRAM estremamente ridotti. Un test di recupero (needle/retrieval) su 168.000 token è stato completato in circa 256 secondi, dimostrando la capacità di gestire finestre di contesto molto ampie. L'utilizzo della VRAM si attestava a circa 14.45GiB per GPU in idle con 204k di contesto, salendo a circa 15.65GiB per GPU dopo un prefill di 168k token.

Vincoli operativi e considerazioni sul deployment

Nonostante i risultati promettenti, il deployment del modello Qwen3.6 27B su questa configurazione presenta alcuni vincoli operativi. La gestione di un contesto di 204.800 token si è rivelata estremamente critica per la VRAM disponibile: un'impostazione di gpu_memory_utilization a 0.94 ha causato un fallimento nell'allocazione della KV cache, mentre un valore di 0.95 ha permesso il corretto funzionamento. Questo indica una tolleranza minima per la memoria e la necessità di un'attenta ottimizzazione.

Il processo di avvio del server vLLM ha richiesto diversi minuti, a causa delle fasi di compilazione e autotuning. I log hanno mostrato occasionali fallback di FlashInfer autotuner dovuti a Out-Of-Memory (OOM) durante l'avvio, sebbene il server sia poi diventato operativo. È stato inoltre notato che l'utilizzo di TRITON_ATTN per il percorso del testo ha fornito risultati migliori. È fondamentale sottolineare che questa configurazione non è pensata per un'elevata concorrenza, dato che max_num_seqs era impostato a 1. Per chi valuta deployment on-premise, questi trade-off tra costo dell'hardware, prestazioni e requisiti di memoria sono aspetti cruciali da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi compromessi in dettaglio.

Prospettive future per l'inference locale

In sintesi, la combinazione di due NVIDIA RTX 5060 Ti da 16GB si è dimostrata sorprendentemente utilizzabile per l'inference del modello Qwen3.6 27B, a patto di scegliere il checkpoint e il runtime corretti. Sebbene la configurazione non offra margini ampi, essa dimostra la fattibilità di eseguire LLM di dimensioni considerevoli su hardware locale di fascia media, aprendo nuove possibilità per le aziende che desiderano mantenere il controllo sui propri dati e infrastrutture.

Questi risultati sono particolarmente rilevanti per le organizzazioni che necessitano di soluzioni air-gapped o che devono rispettare normative stringenti sulla residenza dei dati. La capacità di ottenere prestazioni accettabili con un investimento hardware più contenuto rispetto alle GPU di fascia alta può influenzare significativamente le decisioni sul TCO e sulla strategia di adozione degli LLM, bilanciando le esigenze di performance con quelle di controllo e costo.