RIMS: aggregazione morbida per piccoli LLM più precisi nel RAG rumoroso
Un nuovo framework chiamato RIMS migliora la robustezza dei piccoli LLM nel question answering con RAG. Invece di scartare le coppie di preferenze meno difficili, RIMS le aggrega con un operatore morbido, sfruttando tutti i segnali di addestramento. I dati sintetici vengono generati localmente senza modelli proprietari, e il metodo si applica a diversi algoritmi di allineamento. Su quattro benchmark multi-hop, RIMS supera le soluzioni esistenti con guadagni costanti in Exact Match e F1 in presenza di recupero rumoroso. Codice open source.