La ricerca sta superando la valutazione basata solo sul risultato finale per adottare supervisione a livello di processo, ricompense basate sull'entropia e soglie di evidenza che individuano i guasti silenziosi. Questi metodi affrontano lacune di affidabilità in decisioni mediche, RAG multi-hop e traiettorie agentiche.
Un framework di training insegna ai modelli di QA grounded a rispondere solo quando l'evidenza diventa sufficiente, localizzando il punto esatto in cui l'astensione lascia spazio alla risposta. Su HotpotQA, 2WikiMultiHopQA e MuSiQue, con Qwen2.5-3B-I...
PRO-Step introduce una supervisione a livello di passo per il Retrieval-Augmented Generation. Invece di valutare solo la risposta finale, un modello generativo di ricompensa controlla coerenza logica e aderenza alle evidenze in ogni fase del ragionam...
Uno studio su 400 traiettorie mostra che i giudici LLM basati solo sull'esito rilevano l'84% dei guasti visibili ma solo il 45% di quelli silenziosi e segnalano come errate un terzo delle traiettorie corrette. Un giudice con rubrica per passi arriva ...
ERR+ introduce un framework RLVR in due fasi che premia i cali di entropia a livello di token e l'efficienza relativa della lunghezza. Le tracce corrette risolvono l'incertezza in modo più marcato. Nei test su cinque dataset migliorano accuratezza e ...
Nove LLM di frontiera valutati su 2.005 decisioni oncologiche mostrano un limite collettivo: nel 42,1% dei casi nessun modello risponde correttamente, soprattutto quando serve scegliere tra percorsi terapeutici. Due modelli più assertivi producono im...
