Quando l’industria dei semiconduttori dice che la memoria ad alta larghezza di banda (HBM) è fondamentale per l’intelligenza artificiale, di solito intende: serve più banda per sfamare GPU sempre più affamate. Ma c’è un problema che i benchmark non raccontano: il calore. Impilare die di DRAM uno sull’altro in verticale crea un cammino termico sempre più ostile, che oggi impone limiti precisi alla densità e alle frequenze di clock. Due progetti, uno coreano e uno giapponese, provano a rispondere con un’idea tanto semplice quanto radicale: ruotare l’HBM di 90 gradi e appoggiarlo su un lato, così da allungare la superficie di dissipazione e separare meglio le celle di memoria dal circuito logico che le governa.

Il design coreano, chiamato V-Die, e il giapponese MOSAIC condividono la stessa intuizione architetturale: invece di impilare i die DRAM uno sopra l’altro su un substrate orizzontale, li dispongono in verticale, affiancati, utilizzando connessioni tramite fori passanti (TSV) su un piano ruotato. Il risultato è uno stack che espone più area al contatto con il dissipatore, riducendo la resistenza termica senza dover aggiungere micro-canali o soluzioni di raffreddamento liquido complesse.

Per chi valuta deployment on-premise, la notizia ha un peso specifico che va oltre l’annuncio accademico. I rack che ospitano nodi di inference soffrono di densità di potenza elevata, e ogni watt in più dissipato dalla memoria è un watt sottratto al compute utile o che richiede infrastrutture di raffreddamento più costose. Se i nuovi design permetteranno di spingere la banda oltre i 3 TB/s per stack mantenendo temperature sotto controllo, l’impatto sul Total Cost of Ownership (TCO) sarà diretto: meno condizionamento, più GPU per metro framework di data center, e la possibilità di tenere modelli più grandi interamente in VRAM senza colli di bottiglia termici che forzino throttling.

C’è un segnale strutturale da non ignorare. Mentre il mercato dei modelli si polarizza tra giganti da servire via cloud e modelli aperti che le aziende vogliono eseguire in casa, l’innovazione sulla memoria laterale sposta l’asticella dell’hardware on-premise. Non serve più solo accelerazione di calcolo bruta: serve memoria che sappia convivere con sistemi di raffreddamento ad aria o con loop a liquido semplificati, senza diventare il componente più fragile della scheda. I team che oggi valutano un cluster di inference basato su più GPU sanno che il budget termico è spesso il vero fattore limitante, non i TFLOP teorici. Tecnologie come V-Die e MOSAIC potrebbero rendere obsoleta l’idea che per fare inference locale su LLM di grandi dimensioni si debba per forza investire in raffreddamento a immersione.

C’è anche una dimensione di sovranità dei dati che entra nel ragionamento. Le organizzazioni che trattano dati sensibili e non possono affidarli a provider esterni sono spinte verso l’on-premise, ma devono fare i conti con costi energetici e termici che spesso rendono il cloud più economico nel breve periodo. Una memoria più fredda e più densa ribilancia l’equazione, perché permette di mettere in rack più schede senza ricorrere a sale macchine appositamente adattate. Non è un dettaglio minore: nei progetti di AI locale, il costo della preparazione dell’ambiente fisico può arrivare a pesare più dell’hardware stesso.

Va detto che entrambi i design sono ancora a livello di ricerca, e trasformare un brevetto in una memoria commercialmente valida richiede anni di lavoro sulla silicio e sulla catena di produzione. Ma il fatto che due centri di ricerca indipendenti stiano convergendo sulla stessa soluzione geometrica suggerisce che l’industria ha identificato nel calore della memoria un collo di bottiglia su cui investire, e che l’attuale HBM verticale potrebbe essere solo una fase di passaggio.