I benchmark e i metodi di valutazione vengono messi in discussione: leaderboard sature, errori cross-lingue ed evaluator integrati non bastano a misurare la qualità reale degli LLM. I ricercatori cercano segnali più ricchi nelle trascrizioni, valutazioni indipendenti e nuovi test di artificialità.
Irene Solaiman, chief policy officer di Hugging Face, ha messo in guardia: i metodi di benchmark dei modelli sono complessi e ancora in evoluzione. Gli evaluator integrati non sono una scorciatoia. Per chi sceglie un LLM, la valutazione è una questio...
Il thread bisettimanale di r/LocalLLaMA chiede ai creatori di presentare progetti open source e ospitabili in locale, spiegando perché dovrebbero interessare, come si confrontano con le alternative e come sono stati testati. Più che una vetrina, è un...
Quando più modelli raggiungono punteggi quasi perfetti, i benchmark perdono capacità di distinguerli. Uno studio mostra che le trascrizioni complete dei task, anche da benchmark saturi, conservano informazioni predittive. Il pairwise judging riduce l...
Un benchmark zero-shot su otto LLM mostra che la qualità della summarization non si trasferisce dall'inglese al bengalese. GPT-5.6 Luna domina alcune metriche lessicali inglesi, ma LLaMA 3.3 70B ottiene i migliori ROUGE e BLEU bengalesi; Gemini 2.5 F...
Un nuovo test usa Levin's Kt e i modelli linguistici come macchine di rappresentazione per generare item di difficoltà misurabile in bit, prima che umani o modelli di frontiera riescano a risolverli. Dodici LLM sono stati valutati su una prima batter...
Un leaderboard open source aggrega 22.113 benchmark e mostra che i modelli open-weight cinesi sono a circa sette mesi dai modelli chiusi USA. La metodologia distingue 14.436 valutazioni indipendenti da 7.677 dichiarate dai laboratori. Per chi valuta ...
