Diciotto pipeline RAG, stesso modello, stessi embedding, stessi documenti: il responso del benchmark su FRAMES non lascia molte scappatoie. La migliore configurazione arriva al 78,9% di accuratezza end-to-end, mentre un loop agentico che può leggere i risultati e cercare di nuovo tocca il 92,7%. Il divario non è solo numerico: equivale quasi a consegnare al modello gli articoli giusti fin dall’inizio.

Il test ha isolato le componenti che di solito vengono date per scontate in una pipeline RAG: hybrid search, reranking, query decomposition e query expansion. L’obiettivo era misurare quanto ciascuna contribuisse davvero. Le 824 domande multi-hop di FRAMES sono state il banco di prova, con un giudice LLM e un secondo valutatore indipendente a controllare le risposte. L’accordo tra i due è stato quasi totale, con un Cohen’s κ compreso tra 0,93 e 0,98. Ma il dato interessante non è il podio.

Il paradosso del reranking

Aggiungere un reranker piccolo ha tolto 9 punti percentuali alla pipeline migliore. Uno più grande non ha portato benefici degni di nota. È il tipo di risultato che obbliga a rivedere un’assunzione: il reranking è stato a lungo trattato come un passaggio quasi obbligato per migliorare la qualità dei documenti passati al modello. Qui, su domande multi-hop, quel filtro intermedio può scartare proprio i passaggi che servono a collegare i fatti. Se il reranker non è all’altezza del task, il danno non è neutro: è peggio che non usarlo.

Il loop agentico, invece, non cerca di indovinare tutto al primo colpo. Legge, valuta i risultati e può ripetere la ricerca. Questo spiega perché il 92,7% si avvicina al punteggio che si otterrebbe fornendo direttamente le fonti corrette. La differenza tra 78,9% e 92,7% è il costo di una retrieval statica che sbaglia la selezione dei documenti: il limite non sta nella capacità del modello di rispondere, ma nella qualità del contesto recuperato.

Citazioni che non provano nulla

C’è un secondo segnale, forse più insidioso. I modelli a volte colmano i vuoti attingendo alla memoria del training, anche quando viene chiesto esplicitamente di attenersi ai documenti recuperati. Le risposte restano piene di citazioni, ma quelle citazioni non dimostrano che il contenuto sia stato letto davvero. Il team ha dovuto verificare ogni risposta corretta confrontandola con il testo realmente mostrato al sistema. In un contesto aziendale o regolamentato, questo è un punto critico: la citazione di un documento non equivale a una prova di recupero.

Per chi progetta stack RAG self-hosted, il benchmark ha una lezione strutturale. I componenti aggiuntivi non sono gratuiti: occupano risorse, allungano la pipeline e possono degradare il risultato se non vengono misurati nel proprio dominio. Il loop agentico porta più accuratezza ma moltiplica le chiamate al modello e le ricerche. Sul piano del TCO e dei requisiti di inference, significa pianificare capacità per più passaggi, non per una singola risposta. Non è un dettaglio da poco in ambienti on-premise dove la VRAM e la latenza sono vincoli concreti.

Il risultato di FRAMES non dice quale componente adottare in assoluto. Dice che l’ordine delle priorità va ripensato: prima il recupero iterativo e la verifica delle fonti, poi gli accessori di ranking. E che un benchmark basato solo sui punteggi di retrieval può raccontare una storia diversa da quella dell’accuratezza reale delle risposte.