Pensavamo che per giudicare un agente di codice bastasse un bit: compito superato o fallito. AgentLens scompone quel bit in uno spettro di comportamenti osservabili lungo tutto il percorso, dalla prima istruzione all'ultimo output, passando per gli strumenti usati, gli autocontrolli, i tentativi di recupero errore e persino lo stile di comunicazione con l'utente.

Il progetto, rilasciato come open source su GitHub, non è l'ennesima classifica modelli. Abbina verifica formale, dove possibile, a recensioni della traiettoria scritte da LLM e confronti fianco a fianco, così che ogni esecuzione generi una spiegazione leggibile del punteggio. L'idea è semplice ma potente: chi usa questi agenti non vede solo il risultato finale, ma tutto quello che succede nel mezzo. E sono quei dettagli a fare la differenza tra un agente affidabile e uno che centra il bersaglio per caso.

Per chi sviluppa o valuta agenti in produzione, il salto è netto. Non è più soltanto diagnostica post-mortem: la traiettoria diventa il primo indicatore di regressione. Il team di AgentLens lo usa già in una pipeline di test notturna per confrontare versioni successive del proprio agente e catturare peggioramenti del comportamento prima che arrivino agli utenti. Una sorta di CI/CD per la qualità dell'interazione, non solo per il codice generato.

Ma è nello scenario on-premise che il cambio di paradigma si fa strutturale. Quando un agente opera su codice proprietario o dati sensibili, l'amministratore di sistema ha bisogno di molto più di un verdetto binario: deve sapere come quell'agente ha lavorato, se ha rispettato policy aziendali, se ha usato strumenti in modo appropriato o ha rischiato di esporre dati. Un approccio basato sulla traiettoria trasforma l'agente da scatola nera a processo tracciabile, con vantaggi immediati per audit, compliance e risoluzione degli incidenti.

Non sorprende che AgentLens arrivi in un momento in cui i fornitori di LLM spingono verso agenti sempre più autonomi, ma le aziende che li adottano in locale chiedono garanzie di controllo. Aprire la scatola delle traiettorie non è solo una scelta tecnica: è un incentivo a costruire agenti più trasparenti, che motivano ogni passo invece di nascondersi dietro un "task completato". Per chi valuta strategie di deployment on-premise, AI-RADAR offre framework analitici che aiutano a soppesare questi trade-off (si veda /llm-onpremise).

Il segnale per il settore è chiaro: la maturità di un agente di codice non si misurerà più solo sui benchmark chiusi, ma sulla capacità di raccontare e verificare ogni singola mossa. Con AgentLens, la valutazione diventa un dialogo tra uomo, macchina e processo, e il punteggio non è più un numero, ma una storia.