Misurare il rendimento degli investimenti in intelligenza artificiale è sempre stato un esercizio opaco. Fino a ieri, il costo per token era il proxy più utilizzato: più token generavi a parità di spesa, più efficiente era il sistema. L'avvento degli agenti autonomi — software che concatenano azioni, strumenti e più chiamate a modelli per completare un compito — rende questa metrica pericolosamente fuorviante. Un agente può consumare migliaia di token per un risultato che un singolo prompt mirato avrebbe prodotto con un decimo dello sforzo computazionale. Contare i token diventa come misurare la produttività di un ufficio dalle pagine stampate: un indicatore di attività, non di valore.

La fonte pone l'accento su tre leve: misurare il lavoro utile per dollaro, migliorare l'efficienza e scalare i flussi di lavoro ad alto valore. È un cambio di paradigma che sposta l'attenzione dalla metrica puramente tecnica (throughput, latenza) a un indicatore economico composito: qual è il costo reale per portare a termine un task di business? Questo significa integrare nel calcolo l'intera pipeline — orchestrazione, retrieval, validazione, eventuale intervento umano — e non solo l'inference del LLM.

Chi gestisce infrastrutture on-premise parte avvantaggiato in questa corsa. In un data center privato, il costo marginale di un token aggiuntivo è quasi nullo se l'hardware è già ammortizzato. Il lavoro utile per dollaro sale quando si saturano le GPU con carichi continui, si riutilizzano modelli sottoposti a fine-tuning su dati proprietari e si evitano i moltiplicatori di costo dei cloud provider su volumi elevati. Al contrario, un'architettura cloud pay-per-use può diventare rapidamente antieconomica non appena un agente moltiplica le chiamate API senza una corrispondente crescita del valore generato.

Questo non significa che il cloud sia condannato, ma che la decisione tra on-premise e cloud va presa ora con strumenti analitici diversi. La metrica del lavoro utile per dollaro premia chi ha il controllo sullo stack: possibilità di scegliere modelli quantizzati per ridurre l'occupazione di VRAM, bilanciare più modelli sullo stesso nodo, ottimizzare le code di inference con framework come vLLM o TensorRT-LLM, e decidere quali workload tenere locali per latenza o sovranità dati. Le implicazioni di secondo ordine sono profonde. I vendor hardware vedranno una domanda più stabile di GPU con ampia memoria a banda larga (volumi e contratti a lungo termine), mentre i fornitori cloud potrebbero essere spinti a offrire pricing basato su task e non su token, se vogliono competere con il TCO on-premise.

C'è anche un effetto di terzo ordine sulla ricerca e sull'ecosistema open source. Se il metro diventa il lavoro utile per dollaro, i modelli più piccoli e altamente specializzati — magari ottenuti con fine-tuning su dataset verticali — diventano più attraenti dei giganti generalisti. Si rafforza l'incentivo a pubblicare benchmark che misurino l'efficacia operativa reale (task completion) invece che semplici punteggi accademici. Per chi costruisce stack locali, ciò significa poter dimostrare in modo trasparente il costo per task completato, un argomento decisivo nei comitati investimenti quando si confrontano CapEx iniziali elevati con OpEx variabili e poco prevedibili.

In definitiva, l'era agentica costringe le imprese a ripensare non solo quanto spendono in AI, ma cosa ottengono in cambio. E per chi ha scommesso su deployment on-premise, il nuovo metro di misura potrebbe essere il miglior alleato.