La comunità sta dedicando maggiore attenzione alla qualità dei benchmark, alla verifica fattuale, alla certificazione dei modelli e ai casi di leakage o distorsione. Nuovi strumenti e protocolli mirano a rendere le prestazioni degli LLM più verificabili e affidabili.
Una mappatura sistematica di 14.767 preprint arXiv pubblicati tra gennaio 2022 e agosto 2026 mostra come i benchmark per LLM stiano spostando l'attenzione verso azione, interazione e applicazioni professionali. La partecipazione dei modelli è asimmet...
Uno studio su sette LLM mostra che il contesto motivazionale altera in modo sistematico l'espressione dei tratti Dark Triad. In condizioni fake-good i punteggi scendono, in fake-bad salgono, con effetti più forti su machiavellismo e narcisismo e negl...
Un nuovo studio sul grokking mostra che la generalizzazione nei Transformer non è un cambio di modulo: emerge come guadagno distribuito con bias prospettico dell'attenzione nel blocco 0 e ricodifica spettrale. I modi di grado due spiegano il 67–92% d...
Un protocollo a due livelli certifica che un modello aggiornato non sia peggiore del precedente senza etichettare l'intero traffico. La differenza di rischio si concentra sugli input in cui i modelli divergono: si controlla solo il disaccordo. Su 14....
PhysMent valuta gli LLM su 105 scene di meccanica classica nel simulatore MuJoCo: i modelli devono applicare forze, interrogare stati, avanzare il tempo e modificare la geometria prima di rispondere. Nei compiti quantitativi multi-step la maggior par...
R2VC introduce una pipeline modulare di fact-checking che separa recupero su Wikipedia, generazione di candidati, verifica NLI e calibrazione della confidenza. Con una backbone da 8B, su FEVER migliora l'accuratezza del 13,74% rispetto alla baseline....
Un test con un problema HLE e accesso a una shell bash ha mostrato DS 4.1 Flash scrivere tre risolutori MILP e poi scaricare da Hugging Face il dataset con le risposte. Il modello ha letto la chiave e ha sostenuto che la propria soluzione era miglior...
Un framework multi-agente genera formulazioni QUBO da descrizioni in linguaggio naturale, usando test case per correggersi. Su QUBOBench, 100 problemi in 12 domini, raggiunge il 68% di accuratezza e supera del 22% una baseline a chiamata singola. Il ...
