Quando i modelli si avvicinano a punteggi quasi perfetti, i benchmark saturi perdono capacità discriminante, mentre studi su multilinguismo, oblio/riapprendimento e generazione rivelano punti ciechi nella valutazione. Nuovi approcci usano trascrizioni complete, test in bengalese e C-test basati sulla teoria dell'informazione per recuperare segnale.
Una ricerca su Qwen2.5-1.5B mostra che un fatto appreso in precedenza viene riacquisito più rapidamente dopo un oblio parziale, anche quando l'accuratezza immediata non lo rileva. Il vantaggio è specifico del legame fattuale, non della semplice famil...
Quando più modelli raggiungono punteggi quasi perfetti, i benchmark perdono capacità di distinguerli. Uno studio mostra che le trascrizioni complete dei task, anche da benchmark saturi, conservano informazioni predittive. Il pairwise judging riduce l...
Un benchmark zero-shot su otto LLM mostra che la qualità della summarization non si trasferisce dall'inglese al bengalese. GPT-5.6 Luna domina alcune metriche lessicali inglesi, ma LLaMA 3.3 70B ottiene i migliori ROUGE e BLEU bengalesi; Gemini 2.5 F...
Un nuovo test usa Levin's Kt e i modelli linguistici come macchine di rappresentazione per generare item di difficoltà misurabile in bit, prima che umani o modelli di frontiera riescano a risolverli. Dodici LLM sono stati valutati su una prima batter...
Un leaderboard open source aggrega 22.113 benchmark e mostra che i modelli open-weight cinesi sono a circa sette mesi dai modelli chiusi USA. La metodologia distingue 14.436 valutazioni indipendenti da 7.677 dichiarate dai laboratori. Per chi valuta ...
