ResearchGym: Valutare l'IA nella ricerca scientifica

È stato presentato ResearchGym, un nuovo ambiente di benchmark progettato per valutare le prestazioni degli agenti di intelligenza artificiale nel contesto della ricerca scientifica. Il sistema si basa su cinque pubblicazioni di rilievo (ICML, ICLR e ACL), riutilizzando i relativi dataset, ambienti di valutazione e implementazioni di baseline.

L'obiettivo è fornire un ambiente controllato in cui gli agenti IA possano formulare ipotesi, eseguire esperimenti e cercare di migliorare i risultati ottenuti da ricercatori umani. Ogni ambiente è containerizzato e comprende un totale di 39 sotto-task.

Risultati e limiti attuali

Una valutazione controllata di un agente basato su GPT-5 ha rivelato un divario significativo tra capacità teorica e affidabilità pratica. L'agente è riuscito a migliorare le baseline fornite solo nel 6,7% dei casi (1 su 15), con un miglioramento medio dell'11,5%. Inoltre, ha completato in media solo il 26,5% dei sotto-task.

Sono stati identificati diversi problemi ricorrenti, tra cui: impazienza, gestione inefficiente del tempo e delle risorse, eccessiva fiducia in ipotesi deboli, difficoltà nel coordinare esperimenti paralleli e limitazioni dovute alla lunghezza del contesto. Nonostante queste limitazioni, in un singolo caso l'agente è riuscito a superare la soluzione di un task di ICML 2025, dimostrando che gli agenti più avanzati possono occasionalmente raggiungere prestazioni all'avanguardia, seppur in modo non affidabile.

Valutazioni aggiuntive di agenti proprietari come Claude Code (Opus-4.5) e Codex (GPT-5.2) hanno mostrato un divario simile tra capacità e affidabilità. ResearchGym si propone come infrastruttura per la valutazione e l'analisi sistematica di agenti autonomi nella ricerca a ciclo chiuso. Per chi valuta deployment on-premise, esistono trade-off che AI-RADAR analizza in dettaglio su /llm-onpremise.