EmbeddingRWKV: Un Nuovo Paradigma per il RAG

Un recente studio pubblicato su arXiv presenta un approccio innovativo per i sistemi RAG (Retrieval-Augmented Generation), chiamato State-Centric Retrieval. Questo nuovo paradigma mira a superare le inefficienze dei sistemi tradizionali, che spesso eseguono calcoli ridondanti a causa della mancanza di condivisione di informazioni tra le fasi di embedding e reranking.

L'idea chiave è l'utilizzo di "stati" come ponte di collegamento tra queste due fasi. Il modello alla base di questo approccio è EmbeddingRWKV, un modello basato su RWKV e ottimizzato per fungere sia da modello di embedding che da backbone per l'estrazione di stati compatti e riutilizzabili.

Efficienza e Velocità Ottimizzate

Il sistema proposto include anche un reranker basato sullo stato, progettato per sfruttare appieno le informazioni pre-calcolate. Durante il reranking, il modello elabora solo i token di query, disaccoppiando il costo dell'inferenza dalla lunghezza del documento e ottenendo un aumento di velocità compreso tra 5.4x e 44.8x.

Inoltre, i ricercatori hanno scoperto che non è necessario conservare tutti gli stati dei layer intermedi. Con una strategia di selezione uniforme dei layer, il modello mantiene il 98.62% delle prestazioni complete utilizzando solo il 25% dei layer.

Risultati Promettenti

I risultati sperimentali dimostrano che State-Centric Retrieval raggiunge risultati di alta qualità nel retrieval e nel reranking, migliorando significativamente l'efficienza complessiva del sistema. Il codice del progetto è disponibile su GitHub per ulteriori approfondimenti e valutazioni.