La notizia settimanale è più un segnale di fondo che un annuncio singolo: la corsa ai chip per l’intelligenza artificiale ha allargato il proprio perimetro, e ora si combatte su silicon photonics, HBM, fabbriche di memoria e modelli di frontiera. Non si tratta più soltanto di chi sforna il processore con più FLOPS. L’intero stack fisico su cui girano gli LLM sta diventando il vero campo di battaglia, e questo cambia i termini per chiunque valuti un deployment on-premise.

La fotonica su silicio è l’esempio più nitido. Anziché spostare dati tra chip e rack usando elettroni, si usano impulsi luminosi: meno calore, latenza potenzialmente inferiore, banda più ampia. In un cluster di inference per modelli di frontiera, il collo di bottiglia spesso non è il calcolo ma il movimento dei dati. Se gli interconnettori ottici diventassero pronti per la produzione su larga scala, potremmo vedere server AI più densi e meno affamati di energia. Per un’azienda che gestisce hardware on-premise, questo significa due cose: costi operativi (raffreddamento, alimentazione) che scendono, e la possibilità di addensare capacità in spazi ridotti, un fattore non secondario quando lo spazio in rack è limitato.

L’HBM e le fabbriche di memoria rappresentano l’altro lato della medaglia. L’HBM è già il componente nascosto che determina le prestazioni di ogni GPU di punta; la sua scarsità cronica dimostra quanto la supply chain della memoria sia diventata un nodo strategico. Con l’espansione degli investimenti in nuovi impianti produttivi, il messaggio è chiaro: chi controllerà la produzione di HBM avrà un potere negoziale enorme, potenzialmente in grado di orientare il TCO (TCO) di un intero cluster AI. In uno scenario on-premise, dove si acquista hardware con cicli di vita pluriennali, la dipendenza da un numero ristretto di fornitori di memoria può tradursi in rigidità di aggiornamento o sovrapprezzi improvvisi.

I modelli di frontiera, dal canto loro, spingono continuamente verso l’alto il fabbisogno di memoria e larghezza di banda. Un modello con finestra di contesto estesa richiede quantità di VRAM che oggi costringono a compromessi come la quantization aggressiva (INT8, persino INT4) e lo sharding su più GPU. Se i progressi nell’interconnessione ottica e nell’HBM renderanno più fluida la gestione di grandi modelli, per i team on-premise potrebbero aprirsi finestre di opportunità per girare LLM più performanti senza dover scendere a patti con la precisione.

Strutturalmente, l’allargamento della corsa indica che l’ecosistema hardware sta passando da una competizione puntuale (chi ha la GPU più veloce) a una competizione di sistema, dove contano l’integrazione verticale e il controllo delle componenti critiche. Questo favorisce vendor che possono offrire stack completi, ma rischia di creare nuovi colli di bottiglia proprietari: se la fotonica o l’HBM restano appannaggio di pochi, la libertà di scelta per chi vuole gestire tutto in casa si restringe. D’altro canto, se standard aperti o fornitori multipli dovessero emergere, il costo e la complessità dei sistemi on-premise potrebbero calare più rapidamente del previsto.

Per chi oggi sta valutando l’acquisto di ferro per LLM self-hosted, la lezione è duplice: da un lato, l’innovazione in arrivo promette di ridurre il divario di efficienza con il cloud; dall’altro, impone di guardare oltre la scheda tecnica della singola GPU, allargando lo sguardo a come memoria e interconnessioni si evolveranno nei prossimi 18-24 mesi. Non è più solo una questione di chi ha il processore più veloce. La partita si gioca sul sistema, e capirlo presto significa poter costruire stack meno dipendenti da singoli fornitori, o almeno farlo con gli occhi aperti.