Nuovi benchmark e studi mostrano lacune sistematiche nella psicologia, nella business intelligence e nella generalizzazione degli LLM, spingendo la valutazione oltre l'accuratezza statica.
PsyAgentBench replica cinque classici esperimenti psicologici su LLM open-weight in condizioni named, blind, canonical e counterfactual. I risultati mostrano che effetti come il conformismo di Asch dipendono dal prompt e dal filtro di sicurezza, non ...
La BI end-to-end rivela un limite strutturale dei LLM: sotto il 50% di accuratezza senza guida umana. Il guadagno vero arriva da architetture che orchestrano strumenti e da post-training su dati proprietari. Per chi valuta on-premise e self-hosted, i...
Il benchmark BI-Bench, costruito su progetti reali e dashboard pubbliche, mostra che anche i LLM frontier restano sotto il 50% di accuratezza nella business intelligence end-to-end. BI-Agent, un agente tool-augmented che scompone ricerca, join e tras...
Uno studio su Llama-3.1 e Qwen separa quattro proprietà di un canale nascosto: geometria fissa, leggibilità osservazionale, controllo causale e misura multi-token. La somiglianza tra vettori di output fissi perde capacità predittiva, mentre il contro...
Una mappatura sistematica di 14.767 preprint arXiv pubblicati tra gennaio 2022 e agosto 2026 mostra come i benchmark per LLM stiano spostando l'attenzione verso azione, interazione e applicazioni professionali. La partecipazione dei modelli è asimmet...
Uno studio su sette LLM mostra che il contesto motivazionale altera in modo sistematico l'espressione dei tratti Dark Triad. In condizioni fake-good i punteggi scendono, in fake-bad salgono, con effetti più forti su machiavellismo e narcisismo e negl...
Un nuovo studio sul grokking mostra che la generalizzazione nei Transformer non è un cambio di modulo: emerge come guadagno distribuito con bias prospettico dell'attenzione nel blocco 0 e ricodifica spettrale. I modi di grado due spiegano il 67–92% d...
Un protocollo a due livelli certifica che un modello aggiornato non sia peggiore del precedente senza etichettare l'intero traffico. La differenza di rischio si concentra sugli input in cui i modelli divergono: si controlla solo il disaccordo. Su 14....
