I giudici LLM a esito unico non vedono i guasti silenziosi degli agenti
Uno studio su 400 traiettorie mostra che i giudici LLM basati solo sull'esito rilevano l'84% dei guasti visibili ma solo il 45% di quelli silenziosi e segnalano come errate un terzo delle traiettorie corrette. Un giudice con rubrica per passi arriva al 77% di recall sui guasti silenziosi con zero falsi positivi, a costo triplo. Nessun giudice legge la risposta finale: una promessa inventata sfugge fino all'82% dei casi.