Nuovi studi si concentrano sull'identificare i guasti silenziosi degli agenti, premiare ogni passaggio di ragionamento nel RAG e addestrare i modelli ad astenersi finché le evidenze non sono sufficienti. I benchmark mostrano anche che i modelli più grandi non sempre vincono in accuratezza o efficienza.
Un test su 25 pasti tratti da Nutrition5k mette a confronto sette LLM multimodali nella stima calorica, con soglia di errore al 20%. Muse Spark 1.3, con pesi aperti, raggiunge il 48%, mentre Qwen 3.8 27B si ferma al 16%. La classifica non segue la ta...
Un benchmark su 14 task cross-system e tre server MCP mostra che TrueForge con Opus 4.8 risolve 11/14 task come Claude Managed Agents, ma consuma il 63% di token in meno e costa il 30% in meno per run. Con GLM-5.2 il costo scende a 3 dollari. Restano...
Un framework di training insegna ai modelli di QA grounded a rispondere solo quando l'evidenza diventa sufficiente, localizzando il punto esatto in cui l'astensione lascia spazio alla risposta. Su HotpotQA, 2WikiMultiHopQA e MuSiQue, con Qwen2.5-3B-I...
PRO-Step introduce una supervisione a livello di passo per il Retrieval-Augmented Generation. Invece di valutare solo la risposta finale, un modello generativo di ricompensa controlla coerenza logica e aderenza alle evidenze in ogni fase del ragionam...
Uno studio su 400 traiettorie mostra che i giudici LLM basati solo sull'esito rilevano l'84% dei guasti visibili ma solo il 45% di quelli silenziosi e segnalano come errate un terzo delle traiettorie corrette. Un giudice con rubrica per passi arriva ...
