Il calo dei prezzi dei token sta mettendo sotto pressione l’economia delle GPU per l’inference. Non è una previsione di scenario, ma il messaggio che d-Matrix ha portato al SEMICON Taiwan 2026, dove il vicepresidente Chris Nicol ha presentato un modello di costo dedicato proprio a questa fase del ciclo di vita dei modelli.

La tesi è netta: se il valore di mercato di un token continua a scendere mentre i costi di ammortamento, energia e banda di memoria delle GPU restano sostanzialmente rigidi, il margine per chi offre capacità di inference si assottiglia. La variabile che peggiora più rapidamente non è il prezzo dell'hardware, ma il ricavo per unità di calcolo.

Per capire la portata del problema serve distinguere training e inference. Il training è un investimento discreto, concentrato, con budget dedicati e una tolleranza maggiore al costo per run. L'inference è un servizio continuo, sensibile alla latenza e spesso legato a modelli di prezzo per token. In questo secondo contesto, il costo marginale tende a dominare: ogni richiesta servita attraversa la memoria, muove i pesi del modello e consuma energia. Le GPU, progettate per il throughput, non sempre traducono quel throughput in un costo per token sostenibile quando il prezzo di mercato scende.

Qui entra in gioco la memoria. In molti carichi di lavoro LLM l’inference è vincolata dalla banda di memoria più che dal picco di calcolo: i parametri del modello devono essere letti e riletti per ogni token generato. Non è un caso che d-Matrix presenti il proprio modello a un summit dedicato alle memorie: il segnale strutturale è che l'ottimizzazione hardware per l'inference passa da architetture che riducono il movimento dei dati, non solo da GPU più potenti.

Per chi gestisce deployment self-hosted, il conto è ancora più diretto. Un'infrastruttura on-premise si ammortizza nel tempo; se il prezzo di mercato dei token scende sotto il costo interno per token, l'argomento economico regge solo quando intervengono fattori non monetizzabili come la sovranità dei dati, il controllo dei modelli o i vincoli di conformità. Per chi valuta deployment on-premise, esistono trade-off tra costo per token, latenza e requisiti di residenza dei dati. AI-RADAR offre framework analitici su /llm-onpremise per esaminare questi equilibri senza perdere di vista il TCO.

Il messaggio di d-Matrix, insomma, non riguarda una singola generazione di GPU. Riguarda il punto in cui l'industria dell'inference smette di nascondere i costi dentro bollette cloud crescenti e inizia a confrontarsi con la redditività unitaria. Quando il prezzo del token scende, la catena del valore si restringe e il vantaggio si sposta verso chi controlla l'intero stack: hardware, software e gestione dei dati.

Non è una condanna delle GPU, ma un cambio di incentivi. I fornitori di infrastruttura che vivono di margini per token dovranno spingere su efficienza, utilizzo e nuove architetture di memoria. Chi adotta modelli self-hosted, invece, può trasformare la pressione sui prezzi in un'occasione per ricalcolare il costo reale dell'inference, purché accetti che il mercato non premierà più il solo possesso di capacità di calcolo.