Nuovi benchmark valutano gli LLM su business intelligence end-to-end, sperimentazione scientifica attiva e flussi di lavoro professionali. Mostrano costantemente che i modelli di frontiera restano sotto l'affidabilità umana senza orchestrazione o guida.
La BI end-to-end rivela un limite strutturale dei LLM: sotto il 50% di accuratezza senza guida umana. Il guadagno vero arriva da architetture che orchestrano strumenti e da post-training su dati proprietari. Per chi valuta on-premise e self-hosted, i...
Il benchmark BI-Bench, costruito su progetti reali e dashboard pubbliche, mostra che anche i LLM frontier restano sotto il 50% di accuratezza nella business intelligence end-to-end. BI-Agent, un agente tool-augmented che scompone ricerca, join e tras...
Una mappatura sistematica di 14.767 preprint arXiv pubblicati tra gennaio 2022 e agosto 2026 mostra come i benchmark per LLM stiano spostando l'attenzione verso azione, interazione e applicazioni professionali. La partecipazione dei modelli è asimmet...
PhysMent valuta gli LLM su 105 scene di meccanica classica nel simulatore MuJoCo: i modelli devono applicare forze, interrogare stati, avanzare il tempo e modificare la geometria prima di rispondere. Nei compiti quantitativi multi-step la maggior par...
