La ricerca sta superando la valutazione basata solo sul risultato finale per adottare ricompense a livello di passo, confini dell'evidenza e harness espliciti per intercettare i guasti silenziosi di agenti e sistemi RAG. Nuovi framework premiano la correttezza di ogni passo e la calibrazione dell'incertezza invece del solo esito.
Un framework di training insegna ai modelli di QA grounded a rispondere solo quando l'evidenza diventa sufficiente, localizzando il punto esatto in cui l'astensione lascia spazio alla risposta. Su HotpotQA, 2WikiMultiHopQA e MuSiQue, con Qwen2.5-3B-I...
PRO-Step introduce una supervisione a livello di passo per il Retrieval-Augmented Generation. Invece di valutare solo la risposta finale, un modello generativo di ricompensa controlla coerenza logica e aderenza alle evidenze in ogni fase del ragionam...
Uno studio su 400 traiettorie mostra che i giudici LLM basati solo sull'esito rilevano l'84% dei guasti visibili ma solo il 45% di quelli silenziosi e segnalano come errate un terzo delle traiettorie corrette. Un giudice con rubrica per passi arriva ...
ERR+ introduce un framework RLVR in due fasi che premia i cali di entropia a livello di token e l'efficienza relativa della lunghezza. Le tracce corrette risolvono l'incertezza in modo più marcato. Nei test su cinque dataset migliorano accuratezza e ...
DS-Lighting è un toolkit open-source che rende esplicito il harness nell'automazione della data science. Scompone il harness in quattro strati: dati, workflow, esecuzione e valutazione, e rappresenta gli agenti come programmi operatori eseguibili. In...
