La valutazione degli LLM si sta spostando oltre i singoli benchmark verso la chiarificazione delle query RAG, giudici calibrati e profili di competenze. Nuovi dataset e framework rivelano ampi divari tra metriche exact-match ed esiti allineati all'umano.
Un framework automatizzato mostra che su 5.000+ dialoghi simulati il tasso di successo passa dal 42,1% con exact-match all'81,3% con giudici LLM calibrati su annotazioni umane. Lo scarto di 39,2 punti supera l'effetto combinato di modello, strategia ...
IBM Research pubblica ClariEdge, un dataset di circa 3.900 esempi per riconoscere le query ambigue nella RAG. Un LoRA leggero ottenuto con fine-tuning raggiunge il 96,6% di accuratezza e supera baseline più grandi. Il segnale: componenti specializzat...
Il gruppo IBM Research ha pubblicato ClariEdge, un dataset di circa 3.900 esempi per riconoscere query ambigue nei sistemi RAG e generare richieste di chiarimento. Un LoRA leggero raggiunge il 96,6% di accuratezza e supera le baseline di modelli più ...
SkillEval introduce un framework di valutazione basato su profili di competenze scoperti automaticamente dagli LLM e stimati con modelli di diagnosi cognitiva. Testato su 3.811 modelli e 9.523 item, produce profili più calibrati e predittivi. Le appl...
Irene Solaiman, chief policy officer di Hugging Face, ha messo in guardia: i metodi di benchmark dei modelli sono complessi e ancora in evoluzione. Gli evaluator integrati non sono una scorciatoia. Per chi sceglie un LLM, la valutazione è una questio...
