Servire un LLM con un contesto da un milione di token su una macchina self-hosted non è soltanto un problema di VRAM. È soprattutto un problema di topologia PCIe, finestre BAR e configurazione di sistema. Il resoconto pubblicato su Reddit da Primary_Exchange21 lo mostra in modo concreto: una build con 16 RTX 5060 Ti da 16 GB, distribuite su due isole collegate da switch Broadcom/PLX PEX88096, esegue DeepSeek V4 Flash-0731 con una generazione dichiarata tra 100 e 150 token/s e una media di 140 token/s nel DeepSeek Harness nella configurazione tensor parallel 8 e pipeline parallel 2.

La base è una scheda madre ASRock Rack SPC621D8U-2T/OVH con Xeon Gold 6330. Il dettaglio tecnico più importante non è la GPU, ma la richiesta di una BAR1 da 16.384 MiB su ogni scheda. Per raggiungerla il costruttore ha abilitato Above 4G Decoding, impostato MMIO High Granularity a 1024G, MMIO High Base intorno a 56T, disattivato SR-IOV e aggiunto a GRUB parametri come intel_iommu=off, pci=realloc=on e hpmmioprefsize=512G. Serve anche NVreg_EnableResizableBar=1 nel modulo NVIDIA. Il boot UEFI è attivo, CSM e Secure Boot sono disattivati, perché l'applicazione EFI compilata localmente e i moduli NVIDIA patchati non sono firmati. Il driver è l'open driver Aikitoria patchato 610.43.02-p2p.

La parte meno visibile è il lavoro sugli switch PLX. Per ogni bridge PEX il costruttore scrive nel registro ACS control il valore ECAP_ACS+0x6.w = 0000, per evitare che i controlli di accesso PCIe blocchino il traffico peer-to-peer dentro ogni cluster. Poi ha messo a punto un all-reduce custom per i cluster PLX e ha fatto funzionare DSpark per la pipeline parallel. Il risultato dipende dalla configurazione: con tensor parallel 8 e pipeline parallel 2 il contesto disponibile è di 500.000 token, con circa 4000 token/s di processamento del prompt fino a 500.000 token; con tensor parallel 4 e pipeline parallel 4 il contesto arriva a 1 milione di token e il processamento del prompt sale a circa 7000 token/s sempre fino a 500.000 token, mentre la generazione scende a 80 token/s.

La notizia non sta nel benchmark. Sta nel tipo di economia che emerge. L'intero sistema sarebbe costato, secondo il report, 0,6 volte una RTX 6000 Pro: un indicatore di TCO completamente diverso rispetto a un server accelerato tradizionale. Il budget si sposta verso componenti consumer, ma il costo vero è nella conoscenza di sistema. Non è un prodotto replicabile con un manuale: servono moduli kernel patchati e non firmati, un'applicazione EFI compilata in locale, parametri di boot aggressivi e interventi sui registri dei bridge PCIe. Chi vuole una macchina del genere deve accettare un ambiente con Secure Boot spento e una gestione low-level del PCIe.

Con 16 schede da 16 GB, la dotazione complessiva di VRAM è di 256 GB, ma la vera risorsa non è la somma delle memorie: è la capacità di farle cooperare su contesti lunghi. Il collo di bottiglia, qui, non è il prezzo della GPU, ma la piattaforma: la finestra MMIO, la riallocazione delle BAR e il traffico peer-to-peer attraverso gli switch. Per chi valuta deployment on-premise, AI-RADAR dedica a questi trade-off il framework analitico su /llm-onpremise.

Per i laboratori e i professionisti con competenze di sistema, questo esperimento premia la capacità di trasformare hardware consumer in capacità di inference su contesti lunghi. I vendor che vendono valore solo attraverso la certificazione della singola GPU rischiano di perdere rilevanza: qui l'asset è il controllo della piattaforma, non il singolo componente. Resta il limite per l'impresa: un deploy del genere richiede manutenzione, riproducibilità certificata e una strategia di aggiornamento che le configurazioni vendor offrono in modo più maturo. Il segnale di fondo è che la sovranità dei dati e l'inference self-hosted su contesti lunghi stanno diventando un problema di ingegneria di piattaforma, non una gara a chi compra più VRAM.