Il rincaro che riaccende i conti dell’on-premise

Quando una fonderia come PSMC alza i listini del 45% sulle DRAM, il colpo arriva dritto nei budget di chi gestisce infrastrutture AI in casa. Non si tratta di un aggiustamento di fine trimestre, ma di un segnale che la domanda di Large Language Models sta deformando la catena di fornitura dei semiconduttori molto oltre le GPU. La memoria di sistema, componente apparentemente banale, diventa il primo punto di frizione finanziaria per i cluster self-hosted.

In un server dedicato all’inference o al fine-tuning di LLM, la DRAM non è un accessorio: è il ponte tra storage e VRAM, il buffer che sostiene il pre-processing dei dati e l’orchestrazione dei carichi. Ogni nodo on-premise, soprattutto nelle configurazioni con più schede acceleratrici, carica decine o centinaia di gigabyte di memoria di sistema. Un +45% secco si trasforma in migliaia di euro di extra-costo per macchina, costringendo a rivedere i preventivi già approvati o a posticipare l’espansione.

Chi aveva scelto l’on-premise per tenere sotto controllo il Total Cost of Ownership nel lungo periodo si trova ora a fare i conti con una variabile che non dipende né dalla potenza di calcolo né dall’efficienza energetica. Il costo della DRAM, in un mercato ciclico che alterna periodi di sovrapproduzione a picchi speculativi, diventa una voce difficile da prevedere. E questa imprevedibilità è esattamente ciò che i responsabili delle infrastrutture temono di più quando devono giustificare investimenti pluriennali.

L’annuncio di PSMC arriva peraltro in un momento in cui la corsa all’AI ha assorbito capacità produttiva su tutti i fronti, dalle GPU alla memoria ad alta banda. Le fonderie stanno riallocando linee e risorse, e un aumento del 45% può essere letto come un tentativo di dirottare la domanda verso i nodi più avanzati, dove i margini sono maggiori. Per l’acquirente finale, però, resta un aggravio immediato che rischia di spostare il punto di pareggio tra cloud e on-premise.

Perché la DRAM è strategica nei carichi LLM

Quando si parla di memoria per l’intelligenza artificiale, l’attenzione si concentra quasi sempre sull’HBM integrata nei package delle GPU. Ma la DRAM di sistema ha un ruolo altrettanto critico, specie nei deployment on-premise che non possono contare su un’orchestrazione cloud ottimizzata. Durante l’inference batch o il fine-tuning distribuito, i dati devono transitare rapidamente dalla memoria di sistema alle unità di calcolo, e ogni collo di bottiglia in questa pipeline si traduce in latenza e consumo aggiuntivo.

Nei carichi di lavoro che coinvolgono modelli di grandi dimensioni, la VRAM da sola non basta: tecniche come il memory offloading spostano parte dei pesi e degli stati intermedi sulla DRAM, allungando i tempi ma permettendo di eseguire modelli che altrimenti non entrerebbero nelle GPU. Meno DRAM disponibile, o più costosa, significa dover ridimensionare questi compromessi, spingendo verso quantization ancora più aggressive — con potenziali perdite di qualità — oppure verso architetture CPU-centriche che però sacrificano la latenza.

In un cluster on-premise, la quantità e la velocità della DRAM influenzano anche il numero di richieste concorrenti che il sistema può gestire. Le code di attesa per l’inference si allungano se la memoria di sistema non riesce a tenere il passo con la domanda delle GPU. In pratica, risparmiare sulla DRAM per contenere il costo unitario può rivelarsi controproducente, perché riduce il throughput complessivo e abbassa il ritorno sull’investimento.

L’aumento del 45% non è quindi solo un problema di prezzo, ma di architettura. Chi progetta un nuovo cluster oggi deve ricalcolare il dimensionamento della memoria al rialzo, aggiungendo un buffer di costo che prima non era contemplato. E il rischio è che per rispettare il budget si finisca per sottodimensionare un componente chiave, creando un collo di bottiglia che vanifica la spesa sulle GPU.

La 3D AI Foundry: promessa e cronometro

Nel giorno in cui annuncia il rincaro, PSMC lancia anche la divisione “3D AI Foundry”, con l’obiettivo di portarla al 20% del fatturato. Non è una coincidenza: l’azienda sta segnalando che i ricavi dalla DRAM tradizionale serviranno a finanziare il salto verso il packaging avanzato, dove logica e memoria convivono su più livelli attraverso interposer e stack 3D.

Questa direzione risponde a una necessità fisica prima che economica. Con modelli che superano i cento miliardi di parametri, il consumo energetico della comunicazione tra chip diventa il vero limite. Integrare memoria e processore nello stesso package riduce la potenza spesa per spostare dati, abbatte la latenza e libera margine termico per aumentare la frequenza o il numero di core. Per chi fa inference on-premise, significa poter caricare modelli più grandi senza dover moltiplicare le schede né eccedere con i consumi.

Tuttavia, il cronometro della 3D AI Foundry non è allineato con l’urgenza del momento. Le tecniche di packaging avanzato richiedono investimenti in impianti dedicati e una maturazione dei processi produttivi che richiederà almeno dodici-diciotto mesi per tradursi in volumi significativi. Nel frattempo, il costo della DRAM tradizionale resterà alto, e i vendor che già offrono soluzioni con memoria integrata (come i wafer-on-wafer) hanno capacità limitate e prezzi premium.

Per il responsabile IT, il messaggio è duplice: da un lato, la prospettiva di un’architettura più efficiente nel medio termine può giustificare una pausa negli investimenti massicci in GPU discrete; dall’altro, nel breve non c’è scampo all’aumento dei costi, e ogni decisione di acquisto va soppesata pensando a un hardware che invecchierà rapidamente. La finestra di transizione è insidiosa, e sbagliare il timing può costare caro.

Sovranità dei dati e paradosso regolatorio

C’è un paradosso che la mossa di PSMC rende più visibile. Le normative sulla protezione dei dati, dal GDPR europeo alle regolamentazioni settoriali, spingono sempre più imprese a mantenere i carichi di lavoro AI entro i propri confini, spesso su hardware self-hosted. Tuttavia, l’impennata dei prezzi delle memorie rende questa scelta economicamente più difficile proprio quando la conformità la renderebbe obbligatoria.

Il risultato è una forbice che rischia di allargarsi: le organizzazioni con budget elevati potranno continuare ad aggiornare i propri cluster on-premise, mentre le altre saranno costrette a valutare compromessi, come l’uso di servizi cloud sovrani o di ambienti ibridi che però introducono complessità di gestione e potenziali rischi di conformità. In alcuni settori, come la sanità o la finanza, dove la sovranità dei dati non è negoziabile, l’aumento dei costi hardware potrebbe tradursi in un rallentamento dell’adozione dell’AI, con effetti competitivi.

Questo scenario impone un riesame delle strategie di deployment. Il self-hosting sta diventando un lusso che non tutte le imprese possono permettersi, almeno nella forma “GPU pesanti e DRAM abbondante”. La conseguenza è un crescente interesse verso modelli più compatti e architetture computing-efficienti, ma anche verso soluzioni di inference distribuita che sfruttano nodi meno potenti ma più economici, come i cluster di CPU ad alta densità di memoria.

L’industria delle fonderie, dal canto suo, sta cavalcando questa tensione: da un lato vende memoria a prezzi alti, dall’altro promette packaging integrati che risolveranno il problema. Ma la soluzione richiede tempo e la forbice regolatoria non aspetta. Il rischio è che la regolamentazione, nata per proteggere i cittadini, finisca involontariamente per frenare l’innovazione nelle organizzazioni meno capitalizzate.

Quantization e offloading: da sperimentazione a necessità

Di fronte a un DRAM più cara, tecniche che fino a ieri erano considerate ottimizzazioni di frontiera diventano strumenti di sopravvivenza economica. La quantization a bassa precisione (INT4, INT8) consente di ridurre la quantità di memoria necessaria per ospitare un modello, caricando più parametri nella stessa VRAM e alleggerendo la pressione sulla memoria di sistema. Se prima era una scelta per migliorare la latenza, ora è un modo per contenere l’esborso sui moduli DRAM.

Allo stesso modo, le tecniche di memory offloading, che spostano strati del modello sulla RAM di sistema o persino su storage NVMe, tornano a essere prese in considerazione anche in contesti produttivi. Il prezzo della DRAM aggiuntiva potrebbe rendere conveniente investire in soluzioni software che gestiscono in modo intelligente il trasferimento dei pesi, anche a costo di un throughput inferiore. È un trade-off che ogni team on-premise dovrà valutare: rallentare l’inference del 10-20% può essere accettabile se evita un incremento del 45% sul costo della memoria.

Queste strategie non sono esenti da rischi. La quantization aggressiva può degradare la qualità delle risposte, specialmente in domini dove la precisione è critica, come l’analisi legale o la diagnostica medica. L’offloading introduce latenze variabili che mal si conciliano con applicazioni in tempo reale. Tuttavia, l’alternativa — rinunciare del tutto all’on-premise — potrebbe essere ancora peggiore per chi ha vincoli di sovranità. Il mercato degli strumenti di ottimizzazione, da llm.c a llama.cpp, sta quindi vivendo una seconda giovinezza, non più come nicchia per smanettoni ma come necessità aziendale.

Il paradosso è che queste tecniche, nate per democratizzare l’accesso agli LLM su hardware consumer, stanno diventando la via maestra anche per i deploy professionali. L’aumento dei prezzi delle memorie accelera un processo che era già in corso, ma lo trasforma da tendenza a obbligo, ridefinendo i criteri con cui si scelgono modelli e architetture.

Cosa guardare nei prossimi mesi

Il segnale PSMC va monitorato insieme ad altri indicatori: l’andamento dei prezzi spot delle DRAM, le decisioni di investimento delle altre fonderie (Samsung, SK hynix, Micron) sulle linee dedicate all’AI, e l’evoluzione dei contratti a lungo termine dei grandi hyperscaler. Se questi ultimi inizieranno a rinegoziare al rialzo, vorrà dire che la pressione è destinata a durare.

Un altro fronte da osservare è l’emergere di soluzioni alternative di memoria integrata, come i chip con memoria a stacked package non-HBM, che potrebbero offrire un compromesso tra costo e prestazioni per i server di fascia media. Alcuni fornitori stanno già proponendo architetture che uniscono CPU con DRAM saldata sulla scheda madre, riducendo lo spazio per i moduli standard ma abbassando il costo complessivo. Se queste soluzioni prenderanno piede, potrebbero cambiare la geografia dell’hardware on-premise.

Sul fronte software, la maturazione dei framework per l’inference distribuita su CPU — con il supporto di librerie ottimizzate per i nuovi processori con acceleratori AI integrati — potrebbe ridurre la dipendenza dalla DRAM veloce. Già oggi è possibile servire modelli da 7-13 miliardi di parametri su cluster di soli processori, purché dotati di molta memoria, e l’aumento dei prezzi delle DRAM potrebbe rendere economicamente più interessante questa strada.

Infine, la domanda da porsi è se il rincaro delle memorie segnerà un punto di svolta nell’equilibrio tra cloud e on-premise. Se da un lato il cloud promette di assorbire meglio gli shock di prezzo, dall’altro trasferisce il costo operativo su base mensile, rendendolo meno trasparente. L’aumento PSMC potrebbe spingere le aziende a ricalcolare con più attenzione il vero TCO dell’on-premise, includendo non solo l’hardware iniziale ma anche la volatilità dei componenti. E in questa equazione, la memoria smette di essere una commodity per diventare un fattore strategico.