Se chiedete a un ingegnere hardware perché l'inference dei Large Language Models su chip cinesi sia ancora un'operazione lenta, costosa e poco efficiente, la risposta è quasi sempre una: non si tratta solo di nanometri. I problemi sono tre, e i laboratori di Pechino li chiamano ormai apertamente «i tre muri»: potenza dissipata, larghezza di banda della memoria, e scalabilità degli interconnettori.

Le GPU e gli accelerator sviluppati internamente — da Biren a Iluvatar Corex, fino ai chip orientati al training — sono cresciuti rapidamente in termini di potenza di calcolo grezza, ma restano imballati da un sistema di memoria tradizionale che non regge il passo. Con modelli da 70 miliardi di parametri e finestre di contesto sempre più ampie, la VRAM necessaria esplode, e la latenza per spostare i pesi dalla memoria al die di calcolo diventa il collo di bottiglia. È la cosiddetta «memory wall», che in architetture convenzionali costringe il silicio a sprecare cicli e watt aspettando dati.

Il secondo muro è termico. I chip per AI, spinti a frequenze elevate per compensare i limiti architetturali, producono densità di potenza che richiedono raffreddamento liquido o soluzioni custom molto costose, rendendo difficile il deployment in datacenter on-premise standard. Il terzo, meno visibile ma non meno duro, è la parete degli interconnettori: senza accesso alle tecnicie NVLink o Infinity Fabric controllate da aziende statunitensi, far comunicare centinaia di chip in modo efficiente diventa una sfida di co-design hardware-software quasi proibitiva.

Per questo la strada imboccata dai produttori cinesi è radicale: memoria 3D. Non semplicemente HBM (High Bandwidth Memory) — di cui l'accesso è comunque limitato dalle sanzioni su Samsung e SK Hynix — ma vere e proprie architetture di memory stacking verticale, con die di DRAM impilati direttamente sopra il processore logico, riducendo i percorsi dei dati e moltiplicando la banda disponibile per watt. L'idea è rovesciare il problema: invece di rincorrere nodi produttivi sempre più fini, aggirare il muro della memoria aumentando la densità volumetrica.

Anche se i dettagli sui nodi e sulle capacità rimangono sotto stretta riservatezza, la direzione è coerente con le necessità di chiunque voglia eseguire carichi di inference su LLM in modo self-hosted. Senza un salto di banda, il Total Cost of Ownership per mantenere un modello di medie dimensioni on-premise diventa insostenibile, sia per l'energia che per il numero di acceleratori richiesti.

Il punto, per chi segue AI-RADAR, non è solo accademico: la sovranità dei dati e la possibilità di tenere modelli e inferenze fuori dai cloud statunitensi passano per queste scelte hardware. I chip cinesi con memoria 3D non sono una curiosità da laboratorio: sono l'unica via per costruire stack completi — dal silicio al runtime — che non dipendano da licenze, brevetti e supply chain controllate dall'Occidente. Che questo investimento produca chip competitivi lo decideranno le fonderie e gli impianti di packaging avanzato ancora in fase di costruzione, ma il segnale è chiaro: la prossima battaglia per l'AI on-premise si giocherà sul fronte della densità di memoria tridimensionale, non solo sulla litografia.