L’idea arriva dalla Corea del Sud e ribalta una logica consolidata da decenni. Secondo uno studioso coreano citato da DIGITIMES, l’industria della memoria deve adottare il modello foundry — quello che ha reso possibili i chip personalizzati nell’era degli smartphone e dei data center — per sciogliere il nodo che oggi strozza l’inference dell’intelligenza artificiale.

Oggi il mercato delle memorie è dominato da pochi giganti verticalmente integrati. Samsung, SK hynix e Micron progettano e producono al proprio interno DRAM e HBM, con roadmap dettate più dalla logica dei volumi che dalle esigenze specifiche dei carichi di lavoro AI. Il risultato è che chi fa inference — soprattutto on-premise, dove ogni watt e ogni nanosecondo contano — si ritrova a combattere con un collo di bottiglia noto a tutti gli ingegneri: la banda di memoria non sta al passo con la potenza di calcolo delle GPU.

Non è un problema nuovo. I Large Language Models, sempre più grandi e con finestre di contesto estese, richiedono spostamenti continui di pesi e attivazioni tra VRAM e unità di calcolo. Anche con GPU top di gamma, la velocità effettiva di inference è spesso limitata dalla larghezza di banda della memoria, non dai TFLOP disponibili. In uno scenario on-premise, dove l’ottimizzazione del TCO (TCO) è cruciale, questa inefficienza si traduce in più hardware necessario per lo stesso throughput, o in latenze che degradano l’esperienza utente.

L’adozione di un modello foundry — in cui aziende di progettazione indipendenti creano architetture di memoria ottimizzate per specifici pattern di accesso AI, affidandosi a produttori terzi per la fabbricazione — cambierebbe le carte in tavola. Si aprirebbe la strada a memorie specializzate per l’inference: chip con interfacce più strette, gerarchie di cache riconfigurabili, o stack di memoria direttamente accoppiati a unità di calcolo in configurazioni chiplet, senza dover aspettare le roadmap dei colossi verticali.

Chi ne beneficerebbe? Le organizzazioni che gestiscono deployment self-hosted di LLM. Potrebbero scegliere moduli di memoria su misura per il modello e il throughput desiderato, invece di accontentarsi di componenti standard pensati per il gaming o il cloud generalista. Le startup hardware che già sperimentano con accelerator ASIC per l’inference potrebbero integrarsi più facilmente con un ecosistema di memoria frammentato ma specializzato, riducendo il time-to-market. I grandi vendor cloud continuerebbero a giovarsi degli alti volumi, ma la differenziazione si sposterebbe sulla capacità di comporre sistemi eterogenei.

C’è anche un aspetto geopolitico. Una filiera della memoria più distribuita, con fabbricazione scissa dalla progettazione, potrebbe attenuare la dipendenza da pochi fornitori asiatici — tema caldo per chi, in Europa, deve rispettare requisiti di sovranità dei dati e teme interruzioni nella supply chain. Non è un caso che l’Unione Europea spinga per una maggiore autonomia nella produzione di semiconduttori; un ecosistema foundry delle memorie si inserirebbe perfettamente in quel disegno.

Certo, il passaggio non è indolore. Le memorie non sono processori logici: i margini sono risicati e le economie di scala dominano. Ma proprio la pressione dell’AI, con i suoi carichi di lavoro così diversi dai database e dal web serving, potrebbe creare lo spazio economico per la specializzazione. Il segnale che arriva dalla Corea non è isolato: è il sintomo di un’industria che inizia a riconoscere che l’hardware per l’inference non è più un derivato di quello per il training, ma merita una progettazione dedicata. E la memoria, per una volta, potrebbe essere il punto di partenza.