Un modello può superare un benchmark recuperando l’informazione giusta dalla memoria e fallire nel momento in cui il compito gli chiede di concatenare più passaggi logici. Le metriche aggregate non distinguono le due situazioni. Per questo un nuovo framework di valutazione si concentra sui segnali interni: attenzione, attivazioni e rappresentazioni. Applicato a 16 LLM su 24 benchmark, mostra differenze sistematiche tra compiti knowledge-centric e reasoning-centric, portando in superficie modi di guasto che il singolo score nasconde.

La tesi del progetto è che raccontare il percorso conta quanto il risultato. Non è una sottigliezza da laboratorio: per chi sceglie un modello da eseguire in casa, la distinzione cambia i criteri di accettazione. Un punteggio elevato su benchmark di recupero può spingere verso un LLM che poi, in produzione, si comporta male quando l’applicazione richiede ragionamenti più lunghi. Guardare ai pattern interni riduce questo rischio, perché permette di selezionare i test in base al tipo di carico cognitivo che l’applicazione reale dovrà sostenere.

A livello strutturale, lo spostamento è chiaro: non basta più che un benchmark produca una classifica, serve che renda leggibile il tipo di ragionamento messo alla prova. I fornitori di modelli e i curatori di benchmark potrebbero trovarsi a dover documentare non solo le performance, ma anche le condizioni in cui certi risultati emergono. In un ecosistema in cui molti LLM sono distribuiti come API chiuse, l’analisi dei segnali interni è più agevole per chi ha accesso ai pesi o a un ambiente di esecuzione controllato. Il progetto rilascia il codice in open source, quindi chi gestisce una pipeline self-hosted può integrare l’analisi nella propria infrastruttura senza dipendere da servizi esterni.

Per i deployment on-premise la questione non è solo tecnica. La possibilità di osservare i segnali interni localmente si lega alla sovranità dei dati: prompt e output restano nell’infrastruttura. In più, una valutazione più granulare aiuta a separare i casi in cui il modello sta costruendo una risposta da quelli in cui sta solo recuperando conoscenze già memorizzate. Questa distinzione conta perché rende più difficile mettere in produzione un modello che appare adeguato nei benchmark ma fallisce su carichi di ragionamento reali.

Per chi valuta deployment on-premise, esistono trade-off tra controllo, costo e trasparenza dei modelli; AI-RADAR ne analizza le variabili nella sezione /llm-onpremise. La domanda aperta è se i pattern interni diventeranno una metrica richiesta nei processi di valutazione o resteranno uno strumento per laboratori. Per ora hanno un effetto concreto: rendono più difficile nascondere un fallimento dietro un punteggio.