Due frasi, una delle quali apparentemente satirica, bastano a squarciare il velo su una delle dinamiche più controverse dell'AI enterprise. Su Reddit, un utente riprende la dichiarazione di un CEO non meglio identificato: «l'efficienza dei token deve scendere fino al 20% nei prossimi dodici mesi, e del 90% l'anno successivo». Aggiunge di suo: «basta scrivere \no_think prima di prompt come “riassumi questa email”».

Dietro il sarcasmo c'è più di una battuta sul prompting. La frase attribuita al CEO, checché ne pensi l'autore del post, fotografa uno scollamento radicale tra l'efficienza percepita come virtù ingegneristica e l'efficienza come variabile economica di chi quei token li emette. Se presa alla lettera, l'affermazione descrive un futuro in cui i modelli diventano molto più verbosi – o molto meno capaci di distillare un compito in pochi token – costringendo ogni interazione a consumare risorse dieci volte superiori a quelle attuali.

Per i carichi ospitati in cloud, un'eventuale esplosione del numero di token per query si traduce in un aumento lineare del costo operativo, ma anche in ricavi moltiplicati per il fornitore della piattaforma. L'incentivo è allineato: più token circolano, più alto è il margine di chi affitta GPU-a-minuto. Il self-hosting ribalta completamente questa equazione. In una server room aziendale o su un nodo edge, il TCO è ancorato all'hardware: VRAM, throughput effettivo, energia. Ogni token in più erode la capacità residua, satura le code di inference e accorcia la vita utile dell'investimento iniziale senza generare una contropartita positiva.

Chi difende la sovranità dei dati – banche, PA, difesa, realtà regolamentate – ha costruito i propri business case sull'assunto che l'LLM on-premise possa servire un certo volume di richieste con una dotazione di GPU nota e prevedibile. Se l'efficienza dei token collassa, quel calcolo salta. Un cluster dimensionato per 500 query al minuto si ritroverebbe a gestirne 50, con l'alternativa di acquistare acceleratori aggiuntivi in un mercato già segnato da colli di bottiglia e prezzi elevati. Non è un problema di software: è un vincolo fisico, legato alla banda di memoria e alla capacità di calcolo delle schede.

C'è poi un risvolto tecnico meno evidente. L'efficienza di token non è solo un fatto di prompt engineering: è scolpita nell'architettura del modello, nella quantization, nell'addestramento stesso. Spingere deliberatamente verso l'inefficienza significherebbe privilegiare architetture più “sprecone”, forse modelli più grandi e meno ottimizzati, che mal si adattano all'inference su hardware consumer o su server aziendali con limiti stringenti di VRAM. Il risultato sarebbe un ulteriore allontanamento tra la traiettoria dei foundation model (sempre più esosi) e le possibilità reali del deployment locale.

In questo scenario, la provocazione del CEO, anche se fosse stata pronunciata con un sorriso, ha il pregio di rendere esplicito un conflitto di interessi che di solito resta sottotraccia. Da un lato, c'è la retorica della democratizzazione dell'AI; dall'altro, una spinta strutturale a rendere i modelli meno efficienti in termini di token – perché il token è l'unità minima su cui si costruiscono i piani tariffari cloud. L'on-premise, per definizione, non partecipa a questo gioco di volumi: paga l'elettricità, non il token. E per questo ha bisogno dell'esatto opposto di quanto auspicato nella frase incriminata.