Un grafico virale e controverso

Un grafico prodotto da METR (Model Evaluation & Threat Research) è diventato un punto di riferimento nel mondo dell'intelligenza artificiale (IA), in particolare per valutare le capacità dei modelli linguistici di grandi dimensioni (LLM) come Claude Opus 4.5 di Anthropic. Questo grafico suggerisce che alcune capacità dell'IA stanno migliorando a un ritmo esponenziale, con le nuove consegne che superano le tendenze previste.

Cosa misura realmente il grafico METR

Il grafico METR non misura le capacità dell'IA in senso lato. Si concentra principalmente su compiti di programmazione, valutando la difficoltà in base al tempo necessario agli umani per completarli. Il "time horizon" sull'asse y rappresenta il tempo impiegato dagli umani per completare compiti che un modello può svolgere con successo nel 50% dei casi. Un errore comune è interpretare questo valore come la durata di tempo in cui il modello può operare autonomamente.

Le critiche e i limiti

Non tutti concordano sull'efficacia del tempo impiegato dagli umani come metrica per quantificare le capacità dell'IA. Inoltre, i compiti valutati non riflettono le complessità del lavoro reale e si concentrano principalmente sulla programmazione. Nonostante queste limitazioni, molti esperti riconoscono il valore dello studio METR come uno dei più accurati nel suo genere, fornendo una misura concreta dei progressi dell'IA. Per chi valuta deployment on-premise, esistono trade-off da considerare; AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.

Un tool imperfetto ma utile

Nonostante le sue imperfezioni e le interpretazioni errate, il grafico METR rimane uno strumento utile per valutare i progressi dell'IA. Rappresenta un tentativo di quantificare un'area in rapida evoluzione, fornendo un punto di riferimento concreto in un campo spesso caratterizzato da affermazioni vaghe e iperboliche.