Quando il prefill e la decode di un LLM girano su pool di GPU separate, ogni richiesta trascina con sé una cache KV da trasferire: 2,6 GB per un modello da 70 miliardi di parametri, oltre 100 GB/s su scala di produzione. Il problema è che i sistemi oggi in campo — DistServe, Splitwise, Mooncake — trattano l’interconnessione come un tessuto omogeneo, lanciando RDMA uniformi senza guardare alla gerarchia fisica.

Peccato che la banda tra due GPU vari di un fattore 72x a seconda di dove si trovano: 900 GB/s via NVLink all’interno dello stesso dominio, 50 GB/s con InfiniBand attraverso i nodi, 12,5 GB/s su TCP tra data center. Ignorare questa scala significa lasciare sul tavolo prestazioni che potrebbero fare la differenza tra un servizio fluido e uno spezzettato.

Un gruppo di ricerca ha progettato un orchestratore consapevole della topologia che, all’avvio, mappa la gerarchia delle interconnessioni e sceglie il trasporto ottimale per ogni trasferimento. Tre meccanismi operano insieme. Il primo: un trasferimento pipeline strato per strato che sovrappone la trasmissione al prefill ancora in corso, nascondendo tra il 60 e l’85% della latenza dietro la computazione. Il secondo: un placement attento ai domini NVLink per i modelli Mixture-of-Experts, che co-ottimizza lo smistamento degli esperti con la località della cache KV. Il terzo: l’uso di espansori di memoria CXL 3.0 come tier di overflow condiviso, che offrono capacità 6x superiore e latenza 86x inferiore rispetto a NVMe.

La valutazione completa richiederebbe cluster multi-nodo con interconnessioni eterogenee e hardware CXL 3.0, ancora assenti dalle offerte cloud e fuori dalla portata accademica. I ricercatori presentano modelli analitici di banda, implementazioni dei componenti e analisi proiettata su tre architetture, mostrando una riduzione della latenza di trasferimento da 3 a 18 volte rispetto a RDMA uniforme.

Il segnale che interessa chi costruisce cluster on-premise

Per chi gestisce infrastrutture AI locali, questa non è una curiosità accademica. La disaggregazione del serving è una strada quasi obbligata per contenere il costo delle GPU più potenti, ma fino a oggi veniva pensata come una prerogativa dei grandi cloud. L’arrivo di un orchestratore topology‑aware e, soprattutto, l’integrazione con CXL 3.0 spostano il baricentro: la possibilità di estendere la memoria effettiva senza moltiplicare le GPU costose è un argomento concreto per chi vuole mantenere i dati sotto il proprio controllo.

Il vantaggio competitivo, qui, non è solo di latenza. Le memorie condivise CXL eliminano la necessità di spostare la cache KV su disco, un passaggio che con NVMe introduce latenze incompatibili con l’interattività. Chi allestisce un cluster on‑premise può oggi progettare il dominio NVLink come unità di scheduling, riducendo i trasferimenti fuori dominio a quelli inevitabili e affidando a CXL il ruolo di buffer veloce. Nessun cloud vendor offre ancora questa combinazione: chi la adotta per primo ottiene un differenziale di efficienza difficile da colmare.

A livello strutturale, la ricerca segna la fine dell’illusione che il data center sia una nuvola piatta. Le applicazioni AI più esigenti chiedono che lo scheduling diventi consapevole della distanza elettrica tra i componenti. Chi costruisce i sistemi operativi per l’IA dovrà abbandonare il modello di rete indifferenziato che ha dominato il primo ciclo dell’inference distribuita o essere scavalcato da architetture più specializzate. Il TCO, per carichi di lavoro su larga scala, sarà sempre meno legato al costo della singola GPU e sempre più all’efficienza del trasferimento dati tra pool di calcolo. È un cambiamento che premia chi ha accesso diretto all’hardware — e la possibilità di sperimentare con topologie eterogenee — e penalizza chi si limita a consumare servizi cloud opachi, dove la topologia resta nascosta e l’efficienza non è personalizzabile.