La domanda non è più soltanto quanto un LLM sia bravo, ma che cosa gli chiediamo di fare. Una mappatura sistematica di 14.767 preprint apparsi su arXiv tra gennaio 2022 e agosto 2026 – lavori che introducono o aggiornano risorse di valutazione – mostra che le aspettative della ricerca si stanno spostando verso l'azione, l'interazione e le applicazioni professionali. Non è una semplice crescita di test: è un cambiamento nel modo in cui la comunità scientifica definisce il successo.

Questo cambiamento non è uniforme. Lo studio rileva che elementi consolidati e nuovi convivono, e soprattutto che la partecipazione dei modelli allo stesso processo di valutazione evolve in modo asimmetrico. Da un lato, il punteggio basato su LLM cresce sia nei gruppi di sistemi agentici sia in quelli non agentici; dall'altro, i materiali generati da modelli non mostrano un aumento sostenuto nelle coorti più recenti. In altre parole, i modelli sono sempre più spesso giudici, ma non sempre più spesso autori dei test.

Un'asimmetria che cambia il peso dei benchmark

Questa asimmetria ha conseguenze profonde per chi deve prendere decisioni di deployment. Se i benchmark diventano più orientati all'azione e all'interazione, non basta più misurare la qualità di una singola risposta: serve valutare come un modello agisce in un contesto, come interagisce con strumenti e come rispetta vincoli operativi. Per ambienti on-premise o self-hosted, dove il controllo sulla pipeline di inference è un requisito, questa evoluzione sposta l'attenzione dai numeri pubblici ai test locali che includono prove di interazione reale.

Ma il punto più delicato riguarda l'indipendenza della valutazione. Quando un LLM assegna punteggi, il verdetto tende a riflettere le preferenze e i punti ciechi del modello giudice. Se i materiali generati da modelli non crescono in modo duraturo, il rischio è che i benchmark restino ancorati a categorie e formati definiti da una generazione precedente di modelli, mentre la valutazione si automatizza su standard che premiano stili di risposta già noti. Per il settore, questo significa che la corsa ai benchmark può premiare chi ottimizza per i giudici automatici invece di chi costruisce capacità reali. I vendor hanno un incentivo a modellare i propri sistemi sui criteri impliciti dei LLM valutatori, e questo rende i ranking meno utili come segnale indipendente.

Per chi valuta deployment on-premise, il trade-off è concreto: fidarsi dei benchmark pubblici o investire in pipeline di valutazione locali che replicano i carichi di lavoro reali. Non si tratta solo di accuratezza, ma di sovranità del giudizio. Un'organizzazione che gestisce modelli in locale per ragioni di privacy o conformità non può delegare la valutazione a un giudice esterno senza chiedersi chi controlla quel giudizio. La mappatura non offre risposte definitive, ma rende visibile un problema strutturale: più l'AI partecipa alla costruzione dei test, all'esecuzione dei compiti e al giudizio delle risposte, più diventa difficile distinguere una prova indipendente da una preferenza riprodotta. AI-RADAR dedica spazio a questi temi nella sezione /llm-onpremise, dove il confronto tra benchmark pubblici e valutazioni locali è parte dell'analisi dei trade-off.