Quando il chief financial officer di OpenAI parla di ritorno sull’investimento, il settore ascolta. Sarah Friar ha introdotto una scorecard pensata per dare una pagella all’età dell’AI: non più solo potenza bruta o parametri dei modelli, ma quattro leve concrete — lavoro utile, costo per task completato con successo, affidabilità e ritorno sulla computazione.

La mossa è più di un esercizio contabile. Segnala la fine della fase in cui le aziende potevano permettersi di sperimentare senza chiedersi quanto costasse realmente ogni risposta generata. Al centro c’è il concetto di “lavoro utile”: quante delle attività che un LLM esegue raggiungono l’obiettivo previsto senza richiedere correzioni manuali. In fabbrica, in ufficio o in un contact center, la differenza tra un task completato e uno che produce output inutilizzabile incide direttamente sulla produttività. Friar sposta il metro di giudizio dal semplice numero di token processati al risultato concreto.

Il secondo pilastro, il costo per task riuscito, è dove l’infrastruttura diventa protagonista. In cloud il calcolo è spesso opaco perché le tariffe mescolano storage, rete e servizi aggiuntivi. Su hardware on-premise, invece, il costo per inference è misurabile in modo quasi chirurgico: si sommano ammortamento dei server, consumo energetico, raffreddamento e licenze software, e lo si divide per il numero di task effettivamente andati a buon fine. Questa trasparenza permette di ottimizzare l’allocazione delle GPU, scegliere il livello di quantization che bilancia latenza e qualità, e decidere se un modello da 70 miliardi di parametri genera davvero un vantaggio proporzionale rispetto a uno più piccolo.

L’affidabilità, terzo punto della scorecard, tocca un nervo scoperto dei deployment locali. Un modello self-hosted può subire degradi di performance se il carico di richieste cresce senza un orchestration layer adeguato o se la VRAM disponibile non regge finestre di contesto estese. Misurare l’uptime reale, la coerenza delle risposte e la capacità di servire picchi senza degrado è fondamentale per calcolare il TCO e, soprattutto, per evitare che l’AI diventi un collo di bottiglia anziché un acceleratore.

Il quarto tassello, il ritorno sulla computazione, chiude il cerchio: ogni dollaro speso in hardware deve generare un output misurabile. In un’era in cui le GPU sono la risorsa più contesa, la differenza tra un cluster on-premise ben dimensionato e uno sottoutilizzato si traduce in margini che possono determinare la competitività di un prodotto o di un servizio interno.

Oltre i numeri: chi vince e chi perde

La scorecard di Friar non è solo uno strumento per CFO. Mette sotto pressione l’intera catena dell’AI. I fornitori di hardware dovranno dimostrare non solo teraflops, ma efficienza in scenari reali: throughput per watt, stabilità in produzione, facilità di integrazione in pipeline di inference continua. Le aziende che hanno investito in modelli senza aver definito metriche di successo rischiano di scoprire che i loro progetti hanno un ROI negativo. Al contrario, chi ha già adottato una cultura DevOps applicata all’ML — con monitoring, logging e canary release — potrà leggere quella scorecard come una conferma e affinare ulteriormente i propri stack.

Per chi valuta deployment on-premise, la sfida è doppia: occorre costruire un ambiente in cui queste quattro dimensioni siano osservabili e ottimizzabili. Senza dati precisi sull’utilizzo reale delle GPU, il costo per task riuscito resta un’astrazione. Senza metriche di affidabilità, il “lavoro utile” si sgretola quando il sistema va in errore. È qui che la convergenza tra strumenti di observability, orchestrazione e automazione diventa il vero differenziatore.

In definitiva, la scorecard non aggiunge nulla che un buon ingegnere non sappia già: misuri ciò che conta. Ma farlo uscire dalla bocca del CFO della società simbolo dell’AI generativa ha il peso di un endorsement istituzionale. La prossima ondata di investimenti non si accontenterà più di demo impressionanti. Pretenderà numeri — e chi saprà produrli partendo dal proprio hardware avrà un vantaggio negoziale e operativo difficile da colmare.