Ontologie per LLM: un approccio neuro-simbolico

I modelli linguistici (LLM) mostrano limiti fondamentali come allucinazioni, fragilità e mancanza di fondamenti formali, problematici in settori specialistici che richiedono ragionamenti verificabili. Un recente studio esplora se le ontologie formali di dominio possano migliorare l'affidabilità dei modelli linguistici tramite la generazione aumentata dal recupero di informazioni.

Matematica come banco di prova

La ricerca utilizza la matematica come prova di concetto, implementando una pipeline neuro-simbolica che sfrutta l'ontologia OpenMath con recupero ibrido e reranking tramite cross-encoder per iniettare definizioni rilevanti nei prompt del modello.

Risultati e sfide

La valutazione sul benchmark MATH con tre modelli open-source rivela che il contesto guidato dall'ontologia migliora le prestazioni quando la qualità del recupero è alta, ma un contesto irrilevante le peggiora attivamente. Questo evidenzia sia le promesse che le sfide degli approcci neuro-simbolici. Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare queste opzioni.