HybridRAG: Un Framework RAG Innovativo per Chatbot

La Retrieval-Augmented Generation (RAG) è una tecnica efficace per basare le risposte dei chatbot LLM su conoscenza esterna. Tuttavia, molti studi RAG presuppongono fonti testuali ben strutturate, limitandone l'applicazione pratica.

HybridRAG affronta questa limitazione ingerendo documenti PDF non strutturati tramite Optical Character Recognition (OCR) e analisi del layout. Il sistema converte i documenti in chunk testuali gerarchici e pre-genera una knowledge base di domande e risposte (QA) utilizzando un LLM.

Durante l'interrogazione, HybridRAG cerca corrispondenze nella knowledge base QA pre-generata. Se trova una risposta adeguata, la fornisce immediatamente. In caso contrario, ricorre alla generazione di una risposta al momento. I test su OHRBench dimostrano che HybridRAG offre una qualità di risposta superiore e una latenza inferiore rispetto a un sistema RAG standard.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi trade-off.