Il problema dei benchmark di intelligenza artificiale non è più solo tecnico: è concettuale. Quando un test viene tarato sulle capacità di esseri umani o dei modelli correnti, diventa circolare o satura in fretta. Il nuovo lavoro lo dice con chiarezza e propone una via d’uscita basata su problemi inversi, quelli in cui la difficoltà dipende dalla complessità del meccanismo sottostante dati osservazioni e conoscenza pregressa. La misura scelta è Levin's Kt, una variante computabile della complessità di Kolmogorov che fissa un limite superiore teorico alla difficoltà bilanciando due elementi: la rappresentazione più semplice del meccanismo e il logaritmo dei passi temporali per eseguirlo.

Il passaggio decisivo è l’uso dei reasoning LLM come macchine di riferimento. I test precedenti, come il C-test originale, si basavano su macchine di Turing universali minimaliste, capaci di rappresentazioni limitate e nessuna conoscenza pregressa. Qui invece i large language models sono trattati come macchine di Turing universali che catturano un compendio di cultura umana e interpretano i prompt come programmi in linguaggio naturale. Non è una differenza cosmetica: la potenza della macchina di riferimento definisce la scala su cui si misura la difficoltà. Lo studio formalizza la misura, costruisce una pipeline leggera di generazione e certificazione e analizza proprio l’effetto del divario di potenza tra esaminatore ed esaminando.

Il risultato è una prima batteria di item certificati somministrata a dodici LLM. Le curve caratteristiche degli agenti calano all’aumentare della difficoltà, fino a entrare in una regione ad alta difficoltà che gli autori chiamano finestra di sovraintelligenza: item che si possono certificare ma che restano oltre le capacità delle generazioni attuali di intelligenza di frontiera. La scala è a rapporti, in bit, e permette di produrre item freschi a difficoltà elevate prima che qualsiasi umano o modello di frontiera possa risolverli.

Per chi valuta modelli in ambienti self-hosted o air-gapped, questo approccio ha implicazioni strutturali. Una metrica assoluta, non legata a punteggi percentuali o leaderboard pubbliche, riduce il rischio di benchmark inquinati da dati di addestramento o da overfitting diffuso. Ma introduce una nuova dipendenza: la pipeline di generazione e certificazione deve poter girare localmente, senza affidarsi a API esterne, e la scelta del modello di riferimento diventa una decisione infrastrutturale tanto quanto la metrica stessa. Non è solo una questione di valutazione: è il modo in cui la misurazione della capacità si intreccia con la sovranità dei dati e con il controllo delle risorse di calcolo. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi trade-off, ma il punto di fondo è che la certificazione dell’intelligenza artificiale sta diventando un problema di deployment, non soltanto di teoria.