Performance LLM on-premise: un'analisi con NVIDIA RTX PRO 6000 Blackwell

La valutazione delle performance dei Large Language Models (LLM) in ambienti on-premise rappresenta una priorità strategica per molte aziende, specialmente quelle che necessitano di mantenere il pieno controllo sui dati e sui costi operativi. In questo contesto, un recente benchmark pubblicato dalla community ha messo sotto la lente d'ingrandimento le capacità di una configurazione hardware specifica, fornendo dati preziosi per chi pianifica l'infrastruttura AI.

L'analisi si è concentrata sul modello MiniMax-M2.7, nella sua versione quantizzata NVFP4, eseguito su un sistema equipaggiato con due schede grafiche NVIDIA RTX PRO 6000 Blackwell. Questi test offrono una prospettiva concreta sui trade-off tra throughput, latenza e gestione del contesto, elementi fondamentali per decisioni di deployment informate. Per i decision-maker tecnici, comprendere queste dinamiche è essenziale per ottimizzare il Total Cost of Ownership (TCO) e garantire la sovranità dei dati.

Dettagli della configurazione e stack software

Il sistema utilizzato per il benchmark è stato assemblato con componenti specifici, pensati per un carico di lavoro intensivo di inference LLM. Al centro della configurazione troviamo una scheda madre AsRock Rack B650D4U-2L2T, affiancata da una CPU EPYC 4564P e 128GB di RAM DDR5 ECC, una scelta che sottolinea l'attenzione alla stabilità e all'affidabilità tipiche degli ambienti server.

Le vere protagoniste sono le due GPU NVIDIA RTX PRO 6000 Blackwell, ciascuna dotata di 96GB di VRAM e un consumo energetico di 600W. Queste schede sono interconnesse tramite uno switch C-Payne PM50100 PLX Gen5 con topologia PIX, un dettaglio che evidenzia l'importanza dell'interconnessione ad alta velocità per massimizzare le performance in configurazioni multi-GPU. Sul fronte software, il benchmark ha impiegato SGLang, eseguito tramite un container Docker (voipmonitor/sglang:cu130, b12x 0.8.3), con modelopt_fp4 per la gestione della quantization, bf16 KV per lo stato chiave-valore e TP=2 (Tensor Parallelism) per distribuire il carico tra le due GPU.

Analisi delle performance: decode e prefill

I risultati del benchmark sono stati suddivisi in due aree principali: il throughput di decode e le performance di prefill. Per quanto riguarda il decode, con un contesto iniziale nullo (ctx=0), il sistema ha registrato un throughput aggregato di 127.7 token al secondo per una singola richiesta concorrente (C=1). Aumentando la concorrenza a 128 richieste (C=128), il throughput aggregato ha raggiunto un picco di 2800.2 token al secondo, sebbene il throughput per singola richiesta si sia attestato a 21.9 token al secondo. Questi dati mostrano come la piattaforma sia in grado di scalare l'elaborazione di più richieste simultanee, pur con un calo della velocità per singola richiesta.

Le performance di prefill, misurate con una singola richiesta (C=1), rivelano il tempo necessario per il "Time To First Token" (TTFT) e il throughput di prefill per diverse lunghezze di contesto. Per un contesto di 8K token, il TTFT è stato di 0.50 secondi con un throughput di 17,286 token al secondo. All'aumentare della lunghezza del contesto a 128K token, il TTFT è salito a 13.25 secondi e il throughput è sceso a 9,908 token al secondo. È importante notare che il benchmark non ha utilizzato il decoding speculativo, poiché non esiste ancora un "drafter" NEXTN per il modello M2.7, il che suggerisce margini di miglioramento futuri. Inoltre, il pool KV è limitato a circa 83K token con la configurazione bf16 KV e TP=2, il che porta a "salti" di contesto con contesti lunghi e alta concorrenza, rendendo i contesti di 128K token gestibili solo con una singola richiesta.

Implicazioni per i deployment on-premise

Questi benchmark forniscono dati concreti e misurabili, essenziali per i professionisti IT che devono prendere decisioni strategiche sui deployment di LLM. La capacità di ottenere un throughput elevato con hardware di fascia alta, come le RTX PRO 6000 Blackwell, in un ambiente self-hosted, rafforza l'argomento a favore delle soluzioni on-premise per carichi di lavoro specifici. Questo è particolarmente vero per le organizzazioni che pongono la sovranità dei dati e la compliance normativa al centro delle loro strategie, o che operano in ambienti air-gapped.

L'analisi del TCO, che include l'investimento iniziale in hardware e i costi operativi (energia, raffreddamento), diventa più precisa grazie a benchmark come questo. Sebbene le performance siano promettenti, le limitazioni evidenziate, come quelle relative al pool KV e all'assenza di decoding speculativo, sottolineano l'importanza di un'attenta pianificazione e ottimizzazione del software. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per valutare i trade-off tra diverse architetture e configurazioni, aiutando a bilanciare performance, costi e requisiti di controllo.