Fact-checking potenziato da LLM e grafi di conoscenza

La diffusione di disinformazione online rappresenta una minaccia significativa. Un nuovo studio introduce un metodo per il fact-checking che sfrutta i LLM e i grafi di conoscenza aperti per recuperare evidenze accurate e affidabili.

I metodi tradizionali si basano su modelli semantici e contestuali appresi dai dati di training, limitandone la generalizzazione. Le tecniche basate su Retrieval Augmented Generation (RAG) utilizzano le capacità di ragionamento dei LLM con documenti di evidenza recuperati, ma spesso si affidano alla similarità testuale, trascurando correlazioni fattuali più complesse.

WKGFC: un nuovo approccio

Il nuovo approccio, denominato WKGFC, utilizza un grafo di conoscenza autorizzato come risorsa principale di evidenza. Un LLM valuta le affermazioni e recupera i sottografi di conoscenza più rilevanti, formando evidenze strutturate per la verifica dei fatti. Per completare l'evidenza del grafo di conoscenza, vengono recuperati contenuti web.

Questo processo è implementato come un processo decisionale di Markov (MDP) automatico. Un agente LLM decide quali azioni intraprendere in base all'evidenza corrente e alle affermazioni. L'MDP è adattato per il fact-checking tramite l'ottimizzazione dei prompt per il LLM agente.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.