Nuovi framework valutano i modelli per competenze e successo nei dialoghi invece di singoli punteggi, mentre selezione dei dati e richieste di chiarimento migliorano fine-tuning e affidabilità della RAG.
Un approccio basato sugli embedding dell'encoder di Whisper seleziona sottoinsiemi di addestramento più piccoli e rappresentativi per il fine-tuning ASR. Su ebraico e danese, la selezione k-center ottiene spesso risultati migliori del campionamento c...
Un framework automatizzato mostra che su 5.000+ dialoghi simulati il tasso di successo passa dal 42,1% con exact-match all'81,3% con giudici LLM calibrati su annotazioni umane. Lo scarto di 39,2 punti supera l'effetto combinato di modello, strategia ...
IBM Research pubblica ClariEdge, un dataset di circa 3.900 esempi per riconoscere le query ambigue nella RAG. Un LoRA leggero ottenuto con fine-tuning raggiunge il 96,6% di accuratezza e supera baseline più grandi. Il segnale: componenti specializzat...
Il gruppo IBM Research ha pubblicato ClariEdge, un dataset di circa 3.900 esempi per riconoscere query ambigue nei sistemi RAG e generare richieste di chiarimento. Un LoRA leggero raggiunge il 96,6% di accuratezza e supera le baseline di modelli più ...
SkillEval introduce un framework di valutazione basato su profili di competenze scoperti automaticamente dagli LLM e stimati con modelli di diagnosi cognitiva. Testato su 3.811 modelli e 9.523 item, produce profili più calibrati e predittivi. Le appl...
