I benchmark sugli scienziati artificiali hanno finora premiato la risposta giusta e ignorato il percorso. OpenDiscoveryTrace ribalta il punto di osservazione: 558 traiettorie complete di agenti, registrate passo dopo passo, con pensieri, chiamate a strumenti, osservazioni, errori, trigger di revisione e confidenza auto-dichiarata. Sono 124 task scientifici distribuiti tra drug discovery, scienza dei materiali, genomica e analisi della letteratura. I modelli coperti sono sette: GPT-5.4, Claude Opus 4.6 e Gemini 3.1 Pro con 124 traiettorie ciascuno, più quattro modelli open-weight (Qwen2.5-7B, Mistral-7B-v0.3, Phi-3.5-mini, Qwen2.5-1.5B) con 30 traiettorie ciascuno e 60 varianti con retrieval live.

L'analisi pilota su 363 traiettorie giudicate da LLM mostra qualcosa che i benchmark solo sull'output non possono vedere. I tre modelli frontier hanno tassi di successo comparabili, tra l'84 e l'89 per cento. Eppure Claude Opus 4.6 produce 30 volte più errori di GPT-5.4 per traiettoria: 2,5 contro 0,08. Non è un dettaglio statistico: è la differenza tra un sistema che accumula errori visibili e correggibili e uno che appare più pulito solo perché i suoi passaggi falliti non emergono dalla valutazione finale.

Per chi gestisce LLM in ambienti controllati, la tracciabilità del processo ha un valore che va oltre la ricerca. Un agente scientifico che opera su dati sensibili o proprietà intellettuale non può essere valutato solo sul risultato finale: serve sapere se ha seguito un metodo verificabile, se ha usato gli strumenti nel modo atteso, se ha revisionato i passaggi sbagliati. In un deployment on-premise, dove i log restano sotto il controllo dell'organizzazione, dataset come OpenDiscoveryTrace offrono un riferimento per costruire valutazioni processuali senza inviare dati a servizi esterni. Su AI-RADAR, chi valuta deployment on-premise può trovare framework analitici su /llm-onpremise per confrontare questi trade-off.

La presenza di modelli open-weight è il segnale più rilevante per il deployment locale. I modelli più piccoli hanno solo 30 traiettorie ciascuno, ma il fatto che siano inclusi sposta l'attenzione dal solo confronto tra i grandi vendor. Per un team che valuta un modello da eseguire su infrastruttura propria, poter ispezionare le tracce di un Qwen o di un Phi diventa un criterio di selezione concreto: non conta solo quanti task risolve, ma come li risolve e quanto spesso si corregge.

Resta una tensione: giudicare le tracce con un LLM introduce un secondo livello di soggettività. Ma è anche il punto: se il processo deve essere auditabile, il giudice deve poter vedere non solo la risposta, ma il percorso che l'ha prodotta. OpenDiscoveryTrace rende quel percorso un dato pubblico, non una scatola nera.