Il dibattito sull'adozione delle tecnicie di intelligenza artificiale generativa, in particolare i Large Language Models (LLM), è al centro dell'attenzione per molte aziende che cercano di quantificare il ritorno sull'investimento. In questo contesto, Reid Hoffman, co-fondatore di LinkedIn e figura di spicco nel panorama tecnicico, ha recentemente espresso la sua opinione sul concetto di "tokenmaxxing". Questo termine si riferisce alla pratica di monitorare l'utilizzo dei token da parte degli LLM come metrica per valutarne l'impiego.

Hoffman suggerisce che il tracciamento dell'uso dei token può effettivamente servire come indicatore dell'adozione di queste tecnicie all'interno di un'organizzazione. Tuttavia, ha anche lanciato un avvertimento cruciale: tale metrica deve essere sempre accompagnata da un contesto approfondito e non deve essere interpretata come una misura diretta della produttività. I token, nel contesto degli LLM, rappresentano le unità di testo elaborate dal modello, siano esse parole, parti di parole o caratteri speciali. La loro quantità è un indicatore diretto del volume di interazione con il modello.

Il valore dei token come indicatore

L'idea che il volume di token elaborati possa segnalare l'adozione di un LLM è intuitiva. Un incremento nell'uso dei token potrebbe indicare che più utenti o applicazioni stanno integrando e sfruttando le capacità del modello. Per le aziende che investono in infrastrutture AI, sia in cloud che in soluzioni self-hosted, comprendere il livello di utilizzo è fondamentale per giustificare gli investimenti e pianificare l'espansione.

Monitorare l'uso dei token può aiutare i team di infrastruttura e DevOps a stimare i requisiti di capacità, come la VRAM necessaria per l'Inference o il Throughput richiesto. Se un modello on-premise vede un aumento significativo dell'uso dei token, ciò potrebbe suggerire la necessità di scalare l'hardware, magari aggiungendo ulteriori GPU o ottimizzando le Pipeline di Deployment. Questa metrica, sebbene grezza, offre una base quantitativa per osservare le tendenze di engagement con le soluzioni AI implementate.

Contesto e limiti della metrica

Nonostante la sua utilità come indicatore di adozione, Hoffman sottolinea che l'uso dei token non è sinonimo di produttività. La produttività è un concetto più complesso, che implica non solo il volume di output generato, ma anche la sua qualità, la sua pertinenza e il suo impatto effettivo sugli obiettivi aziendali. Un utente potrebbe generare un gran numero di token per produrre un testo che richiede poi ampie revisioni, o che non porta a un risultato concreto.

Ad esempio, un LLM potrebbe essere utilizzato per generare bozze iniziali che poi vengono scartate o modificate pesantemente. In questi scenari, un alto conteggio di token non si traduce necessariamente in un aumento dell'efficienza o in un risparmio di tempo significativo. La valutazione della produttività richiede metriche qualitative, feedback degli utenti e analisi dell'impatto sui processi di business, andando ben oltre la semplice quantificazione dell'output grezzo del modello.

Implicazioni per le strategie di deployment

Per i CTO, i responsabili DevOps e gli architetti di infrastruttura che valutano il Deployment di LLM, la distinzione tra adozione e produttività è cruciale. La decisione di implementare soluzioni on-premise, ibride o basate su cloud è spesso guidata da considerazioni di TCO (Total Cost of Ownership), sovranità dei dati e requisiti di performance. Se l'obiettivo è massimizzare la produttività, è necessario andare oltre il semplice conteggio dei token e implementare sistemi di misurazione più sofisticati.

Questo include l'analisi del tempo risparmiato, la riduzione degli errori, l'accelerazione dei cicli di sviluppo o la capacità di innovare. Per chi valuta Deployment on-premise, esistono Framework analitici che possono aiutare a definire i trade-off tra costi iniziali (CapEx) e operativi (OpEx), sicurezza e scalabilità. Comprendere come misurare il valore reale dell'AI è essenziale per prendere decisioni informate sull'infrastruttura e per garantire che gli investimenti in hardware e software si traducano in benefici tangibili per l'organizzazione.