I benchmark non smettono di essere utili quando saturano: cambiano natura. Un gruppo di ricercatori ha simulato retrospettivamente la saturazione usando release storiche di modelli e benchmark, e ha verificato se le trascrizioni complete delle risposte corrette potessero prevedere le capacità su domande non sature. La risposta è sì, ma con una condizione importante: il segnale va estratto con protocolli robusti, non con la semplice media dei punteggi.

Il lavoro confronta tre approcci. Il primo è il pairwise judging, che mette a confronto diretto due trascrizioni; il secondo assegna un punteggio assoluto a una singola trascrizione; il terzo usa caratteristiche deterministiche o embedding delle trascrizioni. Tra questi, il pairwise judging riduce l'errore di predizione di 5,3 volte rispetto a un baseline che considera solo i punteggi del benchmark saturo. Non è un margine trascurabile: indica che le tracce di esecuzione contengono informazione non catturata dalla sintesi finale.

Il dato più interessante non è solo che il segnale esista, ma dove si concentra. Gli autori osservano che l'informazione rilevante è distribuita nelle diverse sezioni delle trascrizioni, ma si addensa in canali specifici come i passaggi di ragionamento e le chiamate a strumenti. È un risultato coerente con l'evoluzione dei modelli: man mano che i punteggi si appiattiscono, la differenza tra un sistema e l'altro emerge nel processo, non nella risposta finale.

Per chi gestisce modelli in self-hosted, questo cambia il valore dei log di inference. Le piattaforme cloud restituiscono spesso metriche aggregate; un deployment on-premise conserva invece l'intera traccia, dai token generati alle sequenze di tool call. Non si tratta di accumulare più dati per principio: la ricerca mostra che quei dati, se interrogati con protocolli adeguati, possono separare modelli che un leaderboard non distingue più. Questa tensione tra valutazione pubblica e controllo locale è parte dei trade-off che AI-RADAR esamina su /llm-onpremise.

Ma c'è un limite che va preso sul serio. I protocolli non sempre generalizzano attraverso i cambi di distribuzione. Lo studio segnala che i primi modelli di reasoning introdotti all'inizio del 2025 sono stati sottostimati. È un dettaglio cruciale: una valutazione basata su trascrizioni storiche rischia di premiare lo stile di ragionamento consolidato e di penalizzare capacità nuove che si esprimono in forme diverse. Questo sposta il problema dalla raccolta del segnale alla robustezza dei metodi di estrazione.

Le implicazioni di secondo ordine sono altrettanto rilevanti. Se i transcript diventano una fonte di valutazione, cambiano gli incentivi per chi costruisce modelli: ottimizzare per il punteggio finale non basta più se le tracce vengono analizzate nel dettaglio. Allo stesso tempo, il pairwise judging ha costi computazionali e operativi non banali, perché richiede confronti multipli e può introdurre distorsioni legate al modello usato come giudice. Le aziende che valutano modelli per contesti regolamentati o safety case devono quindi trattare la valutazione come una pipeline, non come un singolo numero.

Chi ci guadagna e chi ci perde? Ci guadagna chi controlla i dati grezzi delle esecuzioni, tipicamente chi opera on-premise o in ambienti ibridi con log completi. Ci perde chi si affida solo alle classifiche pubbliche e non ha accesso alle tracce complete. Per i vendor, il messaggio è duplice: i benchmark saturi non sono morti, ma il valore si sposta dai punteggi ai metadati di processo; al tempo stesso, i modelli che introducono paradigmi nuovi possono essere mal valutati da protocolli addestrati sul passato.

Non è una conclusione comoda. Estendere la vita utile dei benchmark non è un'operazione automatica: serve progettare metodi di estrazione che reggano ai salti di distribuzione. La ricerca lascia un'indicazione netta: i transcript conservano segnale predittivo oltre l'accuratezza, ma leggere quel segnale in modo affidabile è il prossimo problema da risolvere.